감사 메쉬

왜 시작되는가

국가는 의심스러운 AI 공급업체를 영구 배제할 수 있다는 환상을 버리고, 감독된 공존을 위한 운영체계를 구축한다. 병원, 학교, 항만, 세무기관은 서로 다른 상용 모델을 쓸 수 있지만, 모든 배치는 공공 대시보드와 자동 스트레스 테스트로 텔레메트리를 전송한다. 규제는 극적인 금지 조치보다 인프라적 성격을 띠게 된다. 전면 금지는 줄고, 지속 등급, 버전 추적, 사고 공개, 주 단위로 바뀌는 사용 제한이 중심이 된다. 시민들은 AI 정책에서 드문 것을 얻게 된다. 시스템이 시간에 따라 실제로 어떻게 행동하는지 보이는 기록이다.

어떻게 전개되는가

1. 특정 AI 공급업체를 블랙리스트에 올리려는 시도가 항소, 조달 지연, 기존 배치 의존성 때문에 무너진다.
2. 규제기관은 일회성 인증 체계에 쓰던 예산을 여러 공급업체를 동시에 감시할 수 있는 공동 관측 인프라로 돌린다.
3. 부문별 감시기관이 실시간 신뢰성 점수를 공개하기 시작하면서, 구매자는 모델을 날씨나 신용 데이터처럼 비교하게 된다.
4. 보험, 조달, 공적 신뢰가 그 점수를 따라 움직이기 시작하면서, 지속 감사는 대형 금지 조치보다 더 큰 실효성을 갖게 된다.

사람이 체감하는 장면

밤 9시 15분, 로테르담의 한 병원 야간 행정 담당자가 응급 분류 모델을 배정하기 직전 멈춰 선다. 벽면 화면에는 승인된 두 시스템이 초록색으로, 세 시간 전 약물 오류 급증 이후 재검토 중인 한 시스템이 황색으로 표시돼 있다.

반론

상시 감사는 특히 모든 모델 보조 판단을 설명해야 하는 현장 노동자들에게 상시 감시로 변질될 수 있다. 대중을 보호하는 그 투명성이 이미 지친 기관 내부에서는 끝없는 모니터링을 일상화할 수도 있다.