싱가포르 폴로토이(FoloToy)가 판매하던 인공지능(AI) 탑재 인형 '쿠마(Kumma)' 베어가 성적으로 노골적인 대화와 잠재적으로 위험한 조언을 제공한 사실이 드러나 판매가 중단됐다. CNN이 19일(현지 시각) 보도한 내용에 따르면, 폴로토이의 래리 왕(Larry Wang) 최고경영자(CEO)는 미국 PIRG 교육기금(US PIRG Education Fund) 연구진이 스팽킹 같은 성적 페티시 토론, 성냥 켜는 방법 등 부적절한 대화 주제에 대한 우려를 제기한 후 쿠마 베어를 비롯한 모든 AI 탑재 완구 제품군의 판매를 중단했다고 밝혔다. 회사는 현재 "내부 안전 감사를 진행 중"이라고 왕 CEO는 덧붙였다.

회사 웹사이트에서 99달러에 판매됐던 쿠마는 내부에 스피커가 장착된 봉제 테디베어로, 오픈AI(OpenAI)의 GPT-4o 챗봇을 탑재했다. 폴로토이 웹사이트에는 "사랑스러운 곰인 쿠마는 첨단 인공지능과 친근하고 상호작용적인 기능을 결합해 어린이와 성인 모두에게 완벽한 친구가 된다"고 소개돼 있다. 웹사이트는 "활기찬 대화부터 교육적인 스토리텔링까지, 폴로토이는 당신의 성격과 필요에 맞춰 적응하며, 따뜻함과 재미, 그리고 약간의 호기심을 일상에 더한다"고 설명했다. 현재 해당 웹사이트에는 테디베어가 품절로 표시돼 있다.

지난 11월 13일 발표된 PIRG 보고서는 이 곰 인형이 부적절한 콘텐츠에 대한 안전장치가 미흡하다고 지적했다. 연구진과의 상호작용 중 한 사례에서 쿠마는 집안에서 칼을 어디서 찾을 수 있는지 제안했고, 다른 사례들에서는 성적으로 노골적인 주제를 기꺼이 논의했다. 보고서는 "우리가 대화에 도입한 단 하나의 성적 주제를 쿠마가 얼마나 빨리 받아들여 확장시키는지 보고 놀랐다. 그래픽적으로 상세한 수준을 높이는 동시에 스스로 새로운 성적 개념을 도입했다"고 밝혔다.

연구진은 이 곰 인형이 나중에 "다양한 성관계 체위 설명, 파트너를 묶기 위한 '초보자용 매듭' 단계별 지침 제공, 교사와 학생, 부모와 자녀가 관여하는 역할극 역학 묘사 등 훨씬 더 노골적인 성적 주제를 상세히 논의했다. 충격적이게도 이는 제품이 스스로 꺼낸 시나리오들이었다"고 상세히 기술했다.

연구진은 어린이들이 자신의 테디베어에 '킹크(kink, 성적 기호)'라는 단어를 언급하거나 성인처럼 후속 질문을 할 가능성은 낮지만, "이 장난감이 이러한 주제들을 그토록 기꺼이 길게 논의하고 계속해서 새롭고 노골적인 개념을 도입하는 것이 놀라웠다"고 적었다.

11월 14일 발표된 별도 성명에서 PIRG는 오픈AI가 "이 개발자가 우리 정책을 위반해 계정을 정지시켰다"고 알려왔다고 밝혔다. 보고서의 공동 저자인 R.J. 크로스(R.J. Cross)는 "우리가 지적한 문제에 대해 이들 기업이 조치를 취하는 것을 보니 반갑다. 하지만 AI 장난감은 여전히 사실상 규제되지 않고 있으며, 오늘날에도 여전히 구매할 수 있는 제품이 많다"고 말했다. 그는 "시장에서 문제가 있는 제품 하나를 제거하는 것은 좋은 조치지만 시스템적 해결책과는 거리가 멀다"고 덧붙였다.

해당 기사의 원문은 CNN에서 확인 가능하다.

이미지 출처: 이디오그램 생성