출시 버튼을 잠그는 AI 책임 장부

왜 시작되는가

NIST의 위험관리 방식, EU AI Act의 역할별 의무, UNESCO의 인권 원칙이 제품 출시 절차 안에서 만난다. 개발팀은 정확도만 보고할 수 없고, 남은 위험을 누가 승인했는지와 잘못된 결정을 누가 다시 판단할지를 사용자에게 보여줘야 한다. 책임 장부는 규제기관에 제출하는 문서가 아니라 출시 버튼과 이의 신청 화면을 실제로 움직이는 제품 기능이 된다.

어떻게 전개되는가

1. 공공 조달기관과 규제기관이 AI 시험 결과뿐 아니라 남은 위험을 승인한 사람과 이의 신청 담당자를 함께 공개하도록 요구하면서, 책임 정보가 계약의 필수 조건이 된다.
2. 제품팀은 모델 평가, 예외 승인, 출시 결정을 담당자의 이름과 권한에 연결하고, 책임자가 사임하거나 권한이 없으면 배포를 멈추는 기능을 개발 과정에 넣는다.
3. 노동자와 고객은 자동 결정의 이유를 확인하고 사람에게 재심을 요청하는 절차를 기본 기능으로 사용하기 시작하며, 형식적인 책임 장부를 운영하는 기업을 시장에서 압박한다.

사람이 체감하는 장면

새벽 두 시, AI 채용 기능을 배포하려던 제품책임자 서윤의 화면에서 출시 버튼이 회색으로 바뀐다. 시각장애 지원자를 탈락시킨 사례의 책임자 칸과 재심 담당자 칸이 비어 있기 때문이다. 법무팀은 서윤에게 자신의 이름을 임시로 적으라고 재촉하지만, 그녀는 실제로 결정을 뒤집을 권한이 없는 이름은 책임이 아니라고 말하며 회의를 다시 연다.

반론

소규모 기업들은 이런 장부를 유지할 인력과 비용이 부족해 대기업만 시장에 남을 수 있다고 반박한다. 또한 문서 항목을 많이 채운 조직이 실제로 더 안전하다는 보장은 없으므로, 책임 장부가 새로운 서류 경쟁으로 변질될 위험도 있다.