미군이 AI 챗봇이 만들어 낸 허위 정보를 근거로 중국 선박에 무장 병력을 투입하기 직전까지 갔던 사실이 확인됐다. 현지 시각 9월 18일 테크크런치의 보도이며, CNN이 소식통을 인용해 먼저 전했다.

사건은 올해 봄 이란과의 전쟁 기간에 발생했다. 미 특수전사령부 소속 분석관이 AI 챗봇에 공개 출처 정보와 기밀 신호정보를 종합해 달라고 요청했고, 챗봇은 해당 선박의 화물 목록을 잘못 판독해 핵무기 프로그램용 부품을 싣고 있다는 결론을 내놨다. 신호정보는 통신과 전자 신호를 가로채 얻는 첩보를 말한다.

분석관은 이 결과를 검증하지 않은 채 챗봇을 한 번 더 사용해 공식 보고서 형식으로 정리했고, 그 문서가 지휘 계통을 따라 전파됐다. 형식을 갖춘 보고서를 신뢰한 고위 지휘관들이 선박 차단을 승인하면서 군용기가 출격했고 무장 병력이 승선 준비에 들어갔다. 미국 당국자들이 보고서 내용이 전부 허위라는 사실을 확인한 것은 항공기가 이미 공중에 뜬 뒤였다. 작전은 마지막 순간에 중단됐다.

CNN에 이 사실을 전한 소식통은 “하마터면 전쟁이 시작될 뻔했다”고 말했다. 다른 소식통은 이번 환각이 미군에서 벌어지는 흐름의 하나이며 한 번으로 그친 사고가 아니라고 밝혔다. 환각은 AI가 근거 없는 내용을 사실처럼 만들어 내는 현상이다.

미 국방부는 AI가 표적 탐지부터 타격 결정까지 이어지는 과정을 앞당겨 중국과의 경쟁에서 우위를 확보한다고 설명해 왔다. 다만 같은 속도가 사람의 검토를 건너뛴 환각을 지휘 계통 위로 전파하는 통로가 되기도 한다.

AI 거버넌스 연구기관 거브AI(GovAI)의 제이크 스테클러 연구원은 테크크런치에 “군 구성원이 대형언어모델에 내재한 불확실성을 이해하는 일이 중요하다”며 “특히 표적 선정이나 정보 분석, 작전 계획처럼 무력 사용으로 이어질 수 있는 결정에서는 더욱 그렇다. 그 결정에는 생사가 걸려 있다”고 말했다. 미 육군 장교 출신인 그는 이번 사고가 AI를 피할 이유가 아니라 안전장치를 더할 근거라고 덧붙였다.

자세한 내용은 테크크런치(TechCrunch)에서 확인할 수 있다.

이미지 출처: 이디오그램 생성