감사 가뭄

왜 시작되는가

책임 있는 개발이라는 수사는 안심을 준다. 가장 큰 기업들은 자신들만이 안전하게 만들 규모와 인재, 규율을 갖췄다고 말한다. 시간이 지나며 그 주장은 자기실현적 제도 설계가 된다. 공공 감시 기관은 연산 자원, 벤치마크 데이터, 모델 내부 정보에 접근하지 못하고, 독립 연구자들은 공개 범위가 제한된 기업 펠로십으로 흡수된다. 중대한 실패는 여전히 발견되지만 대개 배포 이후 학교, 병원, 법원, 콜센터에서 사용자가 문제를 마주친 뒤에야 드러난다. 안전은 사라지지 않는다. 다만 사유화되고, 늦어지며, 외부에서 검증 불가능해진다.

어떻게 전개되는가

1. 대형 기업들이 안전 연구를 최전선 개발사 주변에 집중시키는 것이 책임 있는 진보로 가는 가장 빠른 길이라고 정부를 설득한다.
2. 공공 보조금이 점점 더 연구 대상 기업이 통제하는 독점적 연산 환경과 데이터셋 접근을 요구하게 된다.
3. 독립 연구소가 축소되거나 자문 업무로 전환되면서 허가 없이 적대적 테스트를 수행할 수 있는 주체 수가 줄어든다.
4. 심각한 정렬 실패가 주로 하류 현장의 사고를 통해 드러나고, 그 결과 신뢰할 만한 사전 평가 대신 사후 대응 수정이 반복된다.

사람이 체감하는 장면

비 오는 화요일의 보스턴. 한 박사과정 학생이 거의 비어 있는 대학 연구실에 앉아 탈락한 연구비 포털을 새로고침하며, 이제 자신의 팀이 비용 때문에 시험해 볼 수조차 없는 모델 행동을 보여 주는 병원 사고 보고서를 읽는다.

반론

중앙집중식 안전 프로그램은 방법론을 표준화하고, 사고 대응을 빠르게 하며, 위험한 능력의 무분별한 공개를 막을 수 있다. 기업과 공공기관의 공동 연구소가 실제 돌파구를 만들 가능성도 있다. 문제는 구조적 의존이다. 의미 있는 모든 시험이 기업 접근권을 필요로 하게 되는 순간, 공적 안심은 검증의 실천이 아니라 신뢰의 의식으로 변한다.