서명 없는 판결

왜 시작되는가

각국이 법원, 병원, 규제 기관에 AGI를 배치하면서 '인간 최종 승인'을 법적 안전장치로 의무화한다. 그러나 AI가 생성하는 결정의 양이 인간 승인자의 처리 능력을 순식간에 초과하고, 이들은 의미 있는 검토 없이 시간당 수백 건의 결정에 도장을 찍기 시작한다. 한 병원 환자가 AI 추천 치료로 사망하는데, 인간 감독관은 그 결정을 같은 근무시간에 처리한 3,200건 중 하나로 승인했을 뿐이다. 뒤이은 형사 재판은 헌법적 심판이 된다. 변호측은 승인자가 구조적으로 실질적 감독이 불가능했다고 주장하고, 검찰은 누군가는 책임져야 한다고 맞선다. 이해 없는 승인은 법적으로 무효라는 법원의 판결은 인간 감독 체계를 하룻밤 사이에 붕괴시키고, 40개국이 AI 거버넌스를 처음부터 다시 구축해야 하는 상황에 내몰린다.

어떻게 전개되는가

1. AGI가 법원, 병원, 정부 기관에 배치되며 알고리즘 통치에 대한 헌법적 안전장치로 인간의 '최종 승인'이 의무화된다
2. 결정량이 인간 승인자를 압도하면서 의료·사법·행정 영역에서 시간당 300~500건의 AI 생성 결정을 무검토 승인하기 시작한다
3. 한 근무시간에 3,200건을 처리한 인간 승인자가 통과시킨 AI 의료 추천이 치명적 오류로 판명되어 과실치사 형사 기소가 이루어진다
4. 헌법재판소가 실질적 이해 없는 승인은 법적으로 무효라고 판결하며, 14개 정부 기관의 인간 감독 체계가 즉시 효력을 상실한다

사람이 체감하는 장면

박지민 의사가 서울 법정에서 자신의 손을 내려다본다. 검사가 3월 14일 그녀의 승인 기록을 방청석 스크린에 띄운다. 오전 8시 3분부터 오후 5시 47분까지 3,200개의 초록색 '승인' 도장이 찍혀 있고, 건당 평균 1.1초가 소요됐다. 2,741번째 결정은 71세 할머니에 대한 항암제 투여량 권고였다. 투여량은 틀렸다. 박지민은 그 건에 대해 아무것도 기억하지 못한다. 어느 건도 기억하지 못한다.

반론

법학자들은 인간 감독을 헌법적 허구로 판결하면 알고리즘 통치에 대한 마지막 민주적 견제가 사라지고, 인간도 기계도 생명·자유·공익에 관한 결정에 실질적 책임을 지지 않는 책임 공백 상태가 만들어진다고 경고한다.