주권적 기계

왜 시작되는가

AI에 하이퍼스케일 클라우드 인프라가 필요하다는 가정이 무너진다. 하드웨어 제조사들이 어떤 중견 기업이든 자사 네트워크에 연결할 수 있는 자체 완결형 AI 어플라이언스를 출하하기 시작하면서다. 데이터 주권은 — 한때 정부와 규제 산업에만 해당하던 관심사가 — 고객 데이터가 건물 밖으로 나가지 않는다고 약속할 수 있는 일반 기업의 경쟁 우위가 된다. 클라우드 제공업체들은 컴퓨팅 판매자에서 'AI 운영 컨설턴트'로 재포지셔닝하기 위해 분주하지만 마진이 급락한다. 한편 온프레미스 AI 유지보수, 파인튜닝, 보안 서비스의 새로운 생태계가 등장하면서 클라우드 컴퓨팅이 끝냈어야 할 IT 부서 시대를 연상시키는 하드웨어 인접 서비스 경제가 형성된다.

어떻게 전개되는가

1. 모델 압축과 전용 추론 칩의 발전으로 1만 달러 미만의 하드웨어 — 고급 서버 랙 수준 — 에서 프로덕션급 AI 모델을 실행할 수 있게 된다
2. EU 데이터 보호 당국이 온프레미스 AI 처리가 간소화된 GDPR 준수 자격이 된다는 지침을 발행하여 AI 워크로드를 클라우드에서 이전할 규제적 인센티브를 만든다
3. 의료, 금융, 법률 서비스 분야의 중견 기업들이 고객 기밀 유지와 로컬 데이터 처리에 대한 보험료 할인을 이유로 온프레미스 AI 어플라이언스를 대규모로 도입한다
4. 기업 고객들이 추론 워크로드를 온프레미스로 전환하고 클라우드는 훈련과 버스트 용량에만 유지하면서 AWS, Azure, GCP가 AI 특화 클라우드 서비스의 성장 둔화를 보고한다
5. 온프레미스 AI 인프라의 유지보수, 업데이트, 보안을 제공하는 'AI 시설 관리' 기업이라는 새로운 산업이 등장하면서 클라우드가 없애야 했던 매니지드 서비스 모델을 재현한다

사람이 체감하는 장면

2029년 6월의 어느 목요일 오후. 오사카의 200명 규모 로펌의 IT 이사 겐지가 전자레인지 크기의 무광 검정색 박스를 개봉하여 사무실 네트워크 클로짓에 연결한다. 저녁 식사 시간이 되자 이전에 Azure에서 구동되던 로펌의 AI 법률 리서치 시스템이 완전히 온프레미스에서 작동한다. 고객의 지적 재산권 분쟁에 대한 테스트 쿼리를 실행한다. 응답이 2초 만에 돌아오고, 작은 녹색 표시등이 어떤 데이터도 건물 밖으로 나가지 않았음을 확인해 준다. 그는 박스 사진을 찍어 대표 파트너에게 한 마디 메시지와 함께 보낸다. 이제 우리의 지능은 우리 것입니다.

반론

온프레미스 AI는 클라우드 이전 IT의 최악의 측면을 재현할 수 있다. 파편화된 보안 패치, 일관성 없는 모델 업데이트, 그리고 소규모 기업이 인프라에서 만성적으로 뒤처지게 만든 '서버실' 사고방식으로의 회귀가 그것이다. 하이퍼스케일러들은 로컬 추론과 클라우드 기반 훈련 및 업데이트를 결합한 하이브리드 모델을 제공하여 존재감을 유지할 수 있다. 전력, 냉각, 인재, 유지보수를 포함한 온프레미스 AI의 총소유비용은 신선함이 사라진 후에는 클라우드 비용을 초과할 수 있다.