알고리즘의 목줄

왜 시작되는가

전자발찌 착용 범죄자들이 피해자를 정밀하게 사전답사한 뒤 저지른 일련의 끔찍한 범죄 이후, 시민적 자유에 대한 논의를 압도하는 공분이 일어난다. 한국이 범죄자의 위치뿐 아니라 어디로 가려 하는지와 그 이유까지 예측하는 AI 시스템을 시범 도입한다. 시스템은 작동한다 — 첫해 재범률이 60퍼센트 감소한다. 그러나 기술은 유죄 판결을 받은 범죄자에게만 머물지 않는다. 보험사가 위협 점수 접근을 요구한다. 집주인이 세입자 심사에 사용한다. 고용주가 보안 인증서를 요구한다. 5년 안에 영구적 하층민이 출현한다 — 법적 지위와 무관하게 알고리즘 프로필이 사회 완전 복귀를 영원히 차단하는 사람들.

어떻게 전개되는가

1. 1년 사이 전자발찌 착용 범죄자에 의한 세 건의 대형 범죄가 수동적 위치 추적에 대한 국가적 신뢰 위기를 촉발한다
2. 법무부가 GPS, 금융 거래, 생체 정보, 행동 패턴 분석을 융합하여 범죄 의도를 사전 예측하는 AI 시스템 AEGIS를 신속 도입한다
3. AEGIS가 극적인 재범 감소를 입증하면서, 성범죄자에서 모든 가석방자로, 다시 모든 전과자로 적용을 확대하라는 정치적 압력이 생긴다
4. 보험사, 집주인, 고용주 등 민간 부문이 AEGIS 보안 점수를 요구하기 시작하면서 전과 경력이 있는 모든 사람에 대한 영구적 알고리즘 신분제가 형성된다

사람이 체감하는 장면

2년 전 비폭력 사기죄로 출소한 41세 최동욱이 수요일 밤 11시 수원의 편의점 앞에 멈춰 서 있다. 방금 AEGIS 경보로 휴대폰이 진동했다. 평소 귀가 경로를 벗어나 등록된 피해자가 거주하는 주거 구역에 진입했기 때문에 위협 점수가 급등한 것이다. 그가 만난 적도, 존재를 알지도 못했던 사람이다. 9분 안에 승인된 경로로 돌아가지 않으면 보호관찰관에게 자동 통보된다. 그는 몸을 돌려 왔던 길을 되돌아간다. 딸에게 줄 우유를 사러 가던 그 가게를 지나치면서.

반론

예측 시스템은 훈련 데이터만큼만 정확한데, 그 데이터는 이를 생산한 형사사법 시스템의 편향으로 포화되어 있다. AEGIS는 불규칙한 근무 시간, 잦은 주소 변경, 현금 거래 등 일상 패턴이 알고리즘적으로 '위협 지표'와 유사한 저소득층과 소수자를 불균형적으로 표시할 것이다. 이 시스템은 범죄를 예방하기보다 차별을 자동화하여, 기존 사회적 불평등을 반영하는 기술적으로 강제된 하층민을 만들어낼 것이다.