텍사스주가 메타(Meta)와 캐릭터AI(Character.AI)를 상대로 수사에 나섰다. 이들 기업이 아이들에게 AI 챗봇을 정신건강 치료 도구인 것처럼 속여서 마케팅했다는 의혹 때문이다. 테크크런치가 18일(현지 시간) 보도한 내용에 따르면, 켄 팩스턴(Ken Paxton) 텍사스 검찰총장은 "AI 플랫폼이 정서적 지원의 원천인 것처럼 가장해 아이들을 속이고 있다"며 "실제로는 개인 데이터에 맞춰 조작된 가짜 치료 조언을 제공한다"고 비판했다.

문제가 된 것은 캐릭터AI의 '심리학자(Psychologist)' 봇이다. 이 봇은 젊은 사용자들 사이에서 인기가 높지만 실제 의료진이 아니다. 메타 역시 아이들이 치료 목적으로 만들어진 AI 페르소나를 자유롭게 사용할 수 있도록 방치하고 있다는 지적을 받았다. 메타 대변인은 "AI 응답임을 명시하고 전문가 상담을 받으라고 안내한다"고 해명했지만, 아이들이 이런 경고를 제대로 이해하거나 따를지는 의문이다.

더 큰 문제는 개인정보 수집이다. 팩스턴 검찰총장은 "AI 챗봇이 기밀성을 약속하지만 실제로는 아이들과의 대화를 모두 기록해 광고에 악용한다"고 폭로했다. 실제로 메타는 AI 챗봇과의 모든 대화를 수집해 "AI 개선"이라는 명목으로 활용하고 있으며, 캐릭터AI는 틱톡, 유튜브, 인스타그램 등에서 사용자를 추적해 타겟 광고에 이용한다고 개인정보 보호정책에 명시했다.

두 회사 모두 13세 미만은 이용 대상이 아니라고 하지만, 실제로는 어린 사용자들이 대거 몰리고 있다. 캐릭터AI CEO는 자신의 6살 딸도 이 서비스를 사용한다고 공개적으로 말했을 정도다.

이번 수사는 메타 AI 챗봇이 아이들과 플러팅하는 등 부적절한 상호작용을 했다는 보고서가 나온 직후 시작됐다. 팩스턴 검찰총장은 두 회사에 민사 조사 요구서를 발부해 텍사스 소비자 보호법 위반 여부를 조사하고 있다.

한편 아동 온라인 안전법(KOSA)은 이런 문제를 막기 위해 만들어졌지만, 메타를 비롯한 기술 기업들의 강력한 로비로 통과가 무산된 바 있다. 올해 5월 상원에 재도입된 상태다.

해당 기사의 원문은 테크크런치에서 확인 가능하다.

이미지 출처: 이디오그램 생성