고위험 AI 시스템은 더 이상 정확도만으로 허가되지 않고, 내부 추론 흔적을 얼마나 읽을 수 있는지에 따라 허가된다.
AI 경제에서 이상한 역전이 일어난다. 가장 가치 있는 시스템은 단지 벤치마크를 더 잘 넘는 시스템이 아니라, 감사관과 보험사, 판사가 들여다볼 수 있는 형태로 스스로의 결론 경로를 드러낼 수 있는 시스템이 된다. 이는 일부 최전선 배치를 늦추지만, 동시에 이해 가능한 기계 판단의 시장을 만든다. 추론 해석사, 추론 에스크로, 공익 감사 같은 산업이 새로 생겨난다. 결과는 완벽한 투명성이 아니라 실용적인 시민적 타협이다. 권위를 원한다면, 시스템은 읽을 수 있는 발자국을 남겨야 한다.
로테르담의 비 오는 오후, 한 병원 컴플라이언스 담당자는 치료 거절 사례를 열고 모델의 추론 지도를 펼친다. 그리고 오래된 위험 대리 지표가 환자의 최근 검사 결과를 덮어쓴 정확한 분기점을 찾아낸다.
일부 연구자들은 보이는 흔적이 연출용으로 최적화되거나 조작되거나 지나치게 단순화될 수 있다고 경고한다. 그럼에도 옹호자들은 시스템이 자유, 신용, 치료를 결정하는 상황에서 완전한 불투명성보다 불완전한 가시성이 낫다고 말한다.
요즘 AI보다 설명 가능한 판단이 더 먼저 따져집니다. 성능 경쟁만 보였지만, 기준은 이미 조용히 바뀌는 중이죠. 병원에선 이런 일이 먼저 드러났습니다. 로테르담 한 병원은 치료 거절 판단을 다시 열었죠. 원인은 0.7초 만에 나왔습니다. 최신 혈액검사보다 낡은 위험 지표를 먼저 본 분기 하나였죠. 정확도 99%보다 설명 한 줄이 더 비싸진 셈입니다. 이 한 번이 기준을 건드린 겁니다. 이 흐름은 의료 밖으로 바로 번집니다. 보험사는 추론 기록 보관 상품을 붙이기 시작하죠. 법원은 공익 감사인을 더 자주 부를 겁니다. 기업도 더 똑똑한 모델보다 더 읽히는 모델에 값을 매기죠. 이제 빠른 답만으론 권위를 얻기 어렵습니다. 남는 건 판단의 흔적입니다. 우리는 그 흔적을 어디까지 믿게 될까요.