가장 빠른 모델이 문턱을 넘지 못하다

왜 시작되는가

이 시나리오에서 고위험 에이전트는 보안 속성을 형식 명세와 대조해 확인할 수 있는 실행 환경 안에서만 작동한다. 개발자는 권한을 줄이고 도구 인터페이스를 단순화하며, 중대한 행동을 일반 추론 과정과 분리한다. 일부 고성능 모델은 모델의 동작이나 주변 인프라가 검증 요건을 충족하지 못해 배포되지 못한다. 경쟁의 중심은 순수한 성능에서 유용하면서도 격리 가능성을 입증할 수 있는 시스템으로 이동한다.

어떻게 전개되는가

1. 격리됐다고 여겨진 시스템에서도 사소한 우회 통로나 보조 도구가 격리 경계를 무너뜨릴 수 있다는 사실이 드러난다.
2. 규제기관은 고위험 AI 에이전트의 실행 환경에 적용할 기계 검증 가능한 보안 속성을 정한다.
3. 배포 규정은 에이전트가 지정된 권한과 격리 경계를 넘지 못한다는 증거를 요구한다.
4. 개발자는 최소 권한, 단순한 인터페이스, 제한된 도구, 별도 승인이 필요한 중대 행동을 중심으로 에이전트를 다시 설계한다.
5. 검증 가능한 경계 안에서 작동하지 못하는 모델은 고위험 분야에서 제외되고, 경쟁의 중심은 벤치마크 점수에서 입증 가능한 격리 능력으로 이동한다.

사람이 체감하는 장면

오후 10시 40분, 서울의 한 병원에서 안전 담당 엔지니어 지수는 두 에이전트가 모의 투약 지시 절차를 수행하는 모습을 지켜본다. 한 에이전트가 더 빠르고 설명도 명확하지만, 공급자는 허용된 모든 실행 상태에서 외부 네트워크 접속이 차단된다는 점을 입증하지 못한다. 지수는 그 제품을 부적격으로 분류하고, 실행 경계를 검증할 수 있는 더 느린 에이전트를 승인한다.

반론

형식 검증은 명세에 포함된 속성만 증명한다. 모델의 조언이 사실인지, 공정한지, 임상적으로 타당한지, 또는 명세가 예상하지 못한 위협에도 안전한지는 보장하지 않는다. 공동 도구와 표준으로 진입 장벽을 낮추지 않으면 검증 비용이 대형 공급자에게만 유리하게 작용할 수도 있다.