챗GPT(ChatGPT)에서 폭력적 극단주의 성향을 보이는 사용자들이 인간 상담사와 챗봇 기반의 탈과격화(deradicalisation) 지원 서비스로 안내될 수 있는 새로운 도구가 개발 중이다. 로이터(Reuters)에 따르면 오픈AI(OpenAI)와 앤트로픽(Anthropic), 구글(Google)이 모두 사용 중인 위기 대응 하청업체 뉴질랜드 스타트업 스루라인(ThroughLine)이 자사의 서비스 범위를 폭력적 극단주의 예방까지 확대하는 방안을 추진하고 있다.

스루라인은 180개국 1,600개 이상의 위기 상담 전화 네트워크를 운영하며, AI 챗봇 사용자가 자해나 자살 충동을 보일 때 적절한 위기 지원 서비스로 연결하는 역할을 해왔다. 그러나 AI 챗봇의 대중적 인기가 급증하면서, 사용자들이 온라인에서 토로하는 정신 건강 문제의 범위가 크게 넓어졌고, 여기에는 극단주의에 대한 관심도 포함되고 있다.

스루라인 창업자에 따르면 개발 중인 과격화 방지 도구는 하이브리드 모델 방식이 될 가능성이 높다. 극단주의 징후를 보이는 사용자에게 반응하도록 훈련된 챗봇과, 실제 정신건강 서비스로의 연결을 결합하는 구조다. 이는 AI 기업들이 자사 플랫폼에서 발생하는 폭력적 콘텐츠에 대한 책임 문제와 직면하고 있는 가운데 나온 움직임이다.

실제로 AI 기업들이 폭력을 방지하지 못했거나 오히려 조장했다는 소송이 증가하고 있다. 이번 도구 개발은 이러한 법적·사회적 압력에 대한 업계의 선제적 대응으로 해석된다. 다만 AI 챗봇이 극단주의를 식별하고 개입하는 과정에서의 프라이버시 우려와 오탐(false positive) 문제도 향후 해결해야 할 과제로 남아 있다.

자세한 내용은 로이터(Reuters)에서 확인할 수 있다.

이미지 출처: 이디오그램 생성