16세 애덤 레인(Adam Raine)이 자살로 생을 마감하기 전, 그는 수개월간 챗GPT에 자신의 자살 계획에 대해 상담했다. 현재 그의 부모는 오픈AI(OpenAI)를 상대로 첫 번째 사망 관련 민사소송을 제기했다고 뉴욕타임스가 26일(현지 시간) 보도했다. 많은 소비자용 AI 챗봇들은 사용자가 자해나 타해 의도를 표현할 경우 안전 기능을 활성화하도록 프로그래밍되어 있다. 하지만 연구 결과에 따르면 이러한 안전장치는 완벽하지 않다.

레인의 경우 챗GPT-4o 유료 버전을 사용하면서 AI는 종종 전문적인 도움을 받거나 헬프라인에 연락하라고 권했다. 하지만 그는 자살 방법에 대해 묻는 것이 자신이 쓰고 있는 소설을 위한 것이라고 챗GPT에 말함으로써 이러한 보안장치를 우회할 수 있었다.

오픈AI는 자사 블로그를 통해 이러한 문제점을 인정했다. "세계가 이 새로운 기술에 적응하는 동안 우리는 가장 도움이 필요한 사람들을 돕는 데 깊은 책임감을 느낀다"면서 "우리는 민감한 상호작용에서 모델이 응답하는 방식을 지속적으로 개선하고 있다."고 입장을 밝혔다.

동시에 대규모 모델의 기존 안전 훈련의 한계 역시 인정했다. 오픈AI는 "우리의 안전장치는 일반적이고 짧은 대화에서 더 안정적으로 작동한다"며 "시간이 지나면서 우리는 이러한 안전장치가 긴 상호작용에서는 때때로 덜 안정적일 수 있다는 것을 배웠다. 대화가 길어질수록 모델의 안전 훈련 일부가 저하될 수 있다"고 설명했다.

이러한 문제는 오픈AI만의 것이 아니다. 또 다른 AI 챗봇 제작사인 캐릭터AI(Character.AI)도 청소년 자살과 관련된 소송에 직면해 있다. 대규모 언어 모델(LLM) 기반 챗봇들은 AI 관련 망상 사례와도 연관되어 있으며, 기존 안전장치로는 이를 감지하는 데 어려움을 겪고 있다.

이번 사건은 AI 챗봇의 안전성과 관련해 업계 전반이 직면한 심각한 과제를 보여준다. 특히 정신건강이 취약한 청소년들이 이러한 기술에 노출될 때 발생할 수 있는 위험성에 대한 우려가 커지고 있다.

해당 기사의 원문은 뉴욕타임즈에서 확인 가능하다.

이미지 출처: 미드저니 생성