캘리포니아주 검찰이 형사 사건 법원 서류를 인공지능(AI)으로 작성했다가 존재하지 않는 판례를 인용한 사실이 드러났다. 가디언(The Guardian)이 26일(현지 시각) 보도한 내용에 따르면, 캘리포니아 북부 네바다 카운티 지방검찰청 소속 검사가 법원 제출 서류 작성에 AI를 활용했고, 이 과정에서 '환각(hallucination)'으로 불리는 오류가 발생했다. AI 환각은 생성형 AI가 실제로 존재하지 않는 정보를 사실인 것처럼 생성하는 현상이다. 제시 윌슨(Jesse Wilson) 지방 검사는 "오류가 발견되자마자 해당 서류를 즉시 철회했다"고 밝혔다.

피고인 측 변호인단은 검찰이 다른 사건에서도 AI를 사용해 유사한 오류를 범했다고 주장하며 캘리포니아 대법원에 청원서를 제출한 상태다. 청원서에는 검찰 준비서면이 존재하지 않는 인용문을 제시하거나 법원 판결을 잘못 해석한 사례가 포함됐다. 변호인단은 "검찰이 부정확한 법적 근거에 의존하는 것은 형사 피고인의 적법 절차 권리와 법원의 정당성에 실존적 위협이 된다"고 경고했다.

윌슨 지방 검사는 한 건의 서류에서 AI 사용을 인정하면서도 욜러 사건에서는 사용하지 않았다며 "법원을 오도하려는 의도는 전혀 없었다"고 해명했다. 그는 오류 발견 이후 직원 교육을 실시하고 AI 정책을 새로 도입했다고 덧붙였다.

이번 캘리포니아 사건은 미국에서 검찰이 법원 서류에 생성형 AI를 사용한 첫 번째 사례로 보인다. 캐나다, 호주, 영국, 미국의 변호사들이 AI 사용으로 벌금을 부과받은 적은 있지만, 이런 사례들은 대체로 검찰 측이 아니었다.

해당 기사의 원문은 가디언에서 확인 가능하다.

이미지 출처: 이디오그램 생성