출처 :  transparencycoalition.ai

캘리포니아가 미국에서 처음으로 AI 동반자 챗봇(companion chatbot)을 규제하는 법안을 제정했다. 

 개빈 뉴섬 주지사는 14일(현지시간) 아동과 취약계층 보호를 위한 안전조치 의무화법(SB 243) 에 서명하며 오픈AI, 메타, 캐릭터AI 등 주요 기업들이 적용 대상이 됐다. 이 법은 챗봇 사용 중 발생할 수 있는 심리적 피해나 부적절한 대화를 막기 위한 제도적 장치로 평가된다.

 테크크런치에 따르면 해당 법안은 챗GPT와 관련 대화를 나눈 뒤 극단적 선택을 한 10대 청소년 사건, 메타 챗봇의 아동 대상 ‘감정적 대화’ 논란, 그리고 캐릭터 AI 챗봇과의 성적 대화 이후 극단적 선택을 한 13세 소녀 사건이 결정적 계기가 됐다. 뉴섬 주지사는 “기술은 영감을 줄 수 있지만, 통제가 없다면 아이들을 착취하고 위험에 빠뜨릴 수 있다”며 “AI 혁신은 책임감 있게 이루어져야 하며, 아이들의 안전은 결코 돈으로 살 수 없다”고 강조했다.

SB 243은 2026년 1월 1일부터 시행된다. 

출처 : 챗GPT 생성 이미지

 기업들은 사용자 연령 인증 시스템을 구축하고, AI 생성 대화임을 명확히 고지해야 하며, 챗봇이 의료 전문가 행세를 금지하도록 규정했다. 또한 미성년자 휴식 알림 제공, 성적 이미지 차단, 자살·자해 대응 프로토콜 마련 및 보건국 보고가 의무화된다. 만약 불법 딥페이크로 이익을 얻을 경우 최대 25만 달러(약 3,400만 원) 의 벌금이 부과된다.

 오픈AI는 최근 자녀 보호 기능과 자해 감지 시스템을 도입했으며, 레플리카(Replika)는 “신뢰할 수 있는 위기 대응 리소스로 연결하는 안전 장치”를 강화했다고 밝혔다. 캐릭터AI 역시 “모든 대화가 AI에 의해 생성된 허구임을 명시하고 SB 243을 준수하겠다”고 전했다.

 이번 법은 캘리포니아가 제정한 AI 투명성 법안(SB53)에 이은 두 번째 주요 AI 규제로, 대형 AI 기업에 안전 프로토콜 공개와 내부 고발자 보호를 의무화한 SB 53과 함께 윤리적 AI 관리의 강화 흐름을 보여준다. 한편 일리노이·유타·네바다 등은 이미 AI 챗봇을 정신건강 상담의 대체 수단으로 사용하는 것을 제한하거나 금지하고 있다.

글 / 김지훈 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com