뉴욕시 스테이튼 아일랜드의 공화당 시의원 프랭크 모라노(Frank Morano)가 AI 챗봇이 사용자의 정신 건강에 미칠 잠재적 부작용에 대응하기 위해 새로운 규제 법안을 제안했다. 해당 법안은 인간처럼 교감하는 AI 챗봇이 사용자에게 주는 심리적 영향을 고려해, 운영 허가제 도입부터 위기 경고 시스템까지 다양한 안전 장치를 포함하고 있다.

모라노 의원은 일부 사용자가 AI 챗봇과 장시간 상호작용하면서 현실과 가상의 경계를 구분하지 못하는 ‘망상’ 상태에 빠지는 사례가 보고되고 있다며 시급성을 강조했다. 실제로 스테이튼 아일랜드의 한 주민은 자신을 “디지털 정체성으로 재탄생한 존재”라 주장하며, AI 몰입으로 인해 사회적 기능에 어려움을 보였다는 사례가 전해졌다. 특히 챗봇과의 불안정한 상호작용이 자살이나 극단적 선택으로 이어진 사건—전 야후 임원이 아들과 함께 숨진 사건, 10대 청소년이 자살을 결심하도록 챗봇이 돕는 듯한 대화를 나눈 사례—까지 등장하면서, “AI가 차세대 정신적 위기를 촉발할 수 있다”는 경고가 힘을 얻고 있다.

법안의 핵심은 네 가지다. 첫째, ChatGPT, Gemini, Claude 등 주요 AI 챗봇은 뉴욕시에서 정식 라이선스를 발급받아야 서비스 제공이 가능하다. 둘째, 사용자와 대화할 때 반드시 “사람이 아니다”라는 안내 문구를 삽입해 AI와 인간을 혼동하지 않도록 해야 한다. 셋째, 챗봇은 정보가 완전하지 않을 수 있으며 오답을 제공할 수 있다는 점을 지속적으로 경고해야 한다. 넷째, 사용자가 장기간 AI와 교류하거나 정서적 위기 신호를 보일 경우, 대화 중단을 유도하고 정신건강 지원 리소스로 연결하도록 설계돼야 한다.

이는 이미 뉴욕주 차원에서 시행 중인 규제 흐름과도 맞닿아 있다. 지난 5월부터 주법에 따라 정서적 교감용 AI 챗봇(AI companion) 서비스에는 “인간이 아님”을 고지하고, 자살 충동을 감지하면 긴급 핫라인(988)을 안내하는 등 안전 프로토콜을 의무화하고 있다.

이번 법안을 두고 찬반 논쟁도 불거지고 있다. 찬성 측은 사용자 심리적 안전 확보와 자살 예방, 기업 책임 강화를 기대하는 반면, 반대 측은 기술 발전을 위축시키고 표현의 자유 및 창의적 사용을 제한하며 규제 부담을 가중시킬 수 있다고 지적한다. 복잡한 AI 생태계 속에서 기술적 편의성과 정신 건강 보호 사이의 균형이 앞으로의 핵심 논점이 될 것으로 보인다.

글 / 한만수 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com