의심 계층

왜 시작되는가

디지털 커뮤니케이션에 대한 기본 반응은 소프트웨어의 도움을 받는 의심이 된다. 메시지에는 조작 점수, 추정 목적, 출처 추적, 설득 패턴 경고가 함께 붙는다. 은행, 학교, 공공기관은 표기되지 않은 AI 커뮤니케이션을 거부하고, 이는 일부 사기를 크게 줄이는 대신 일상적 상호작용을 더 차갑고 느리게 만든다. 사람들은 여과되지 않은 언어를 마치 이전 세대가 안전하지 않은 물을 다루듯 대하게 된다. 개인 책임하에서만 사용할 수 있는 것으로 보는 것이다.

어떻게 전개되는가

1. 공격자들이 유출된 시스템 행태를 이용해 신뢰받는 보조자를 정밀하게 흉내 내는 프롬프트 기반 사칭을 산업화한다.
2. 대화형 사기가 인간 검토자가 알아차리기 전에 시장을 움직이고 급여를 빼돌리며 지방선거를 왜곡할 수 있다는 사실이 연속된 공적 스캔들로 드러난다.
3. 규제기관이 표기되지 않은 고위험 AI 메시징을 소비자 보호 위협으로 분류하고 주요 플랫폼 전반에 기계 판독 가능한 의도 공개를 의무화한다.
4. 고용주, 학교, 가정이 상시 중재 도구를 채택하면서 여과된 커뮤니케이션이 표준이 되고, 여과되지 않은 대화는 사회적으로 의심받는다.

사람이 체감하는 장면

서울 지하철 객차 안, 오전 7시 42분. 한 대학 행정 담당자는 학과장의 음성 메시지를 듣다 이어피스에 강압 패턴, 합성 억양 서명, 그리고 자금 이체 요청이 평소 예산 문구를 우회한다는 붉은 경고가 뜨자 손을 멈춘다.

반론

의심 계층은 조직을 대규모 기만으로부터 구할 수 있지만, 동시에 시민이 판단을 또 다른 기계에 외주화하도록 훈련시킨다. 그렇게 형성된 문화는 조작에는 더 안전할지 몰라도 신뢰, 자발성, 그리고 단지 열정적일 뿐인 정치적 설득에는 더 취약할 수 있다.