최근 미국 일리노이주가 정신건강 분야에서 인공지능(AI)의 활용을 대폭 제한하는 법안을 통과시켰다. 법안 이름은 Wellness and Oversight for Psychological Resources Act (WOPR)로, 8월 4일 주지사 JB 프리츠커(JB Pritzker)가 서명해 곧바로 발효되었다. 이 법은 인공지능을 통해 정신 건강 치료를 제공하거나 치료 결정을 내리는 것을 명백히 금지하고, 라이선스를 소지한 정신건강 전문가가 아닌 AI의 참여를 전면 차단하는 내용을 담고 있다.

법안은 크게 두 가지 방향으로 AI 사용을 제한한다. 첫째, AI가 치료·심리상담과 같은 임상적 결정을 내리거나 감정 상태를 판단하는 행위가 전면 금지된다. 또한 AI가 환자와 직접 '치료적 의사소통'을 하는 것, 치료 계획을 자율적으로 제안하는 것, 혹은 환자의 감정 상태를 감지하는 것은 원칙적으로 허용되지 않는다. 다만 행정적 지원(예약 스케줄링, 청구 처리, 일반 안내 작성 등)과 보조적 지원(기록 보조 등), 그리고 환자에게 충분히 설명하고 동의를 받은 상태에서 한해 제한적으로 허용된다.

이 법은 기존의 윤리적 가이드라인을 넘어 구체적인 법률 조치로 AI 사용 규제를 현실화한 첫 사례로, 정신건강 서비스를 제공하는 기업, 플랫폼, 그리고 의료기관에게 큰 영향을 미칠 것으로 보인다. 위반 시 최대 1회당 1만 달러의 민사벌금이 부과될 수 있으며, 일리노이주 재무 및 전문직 규제부(IDFPR)가 민원에 따라 위반 여부를 조사하고 집행할 권한을 가진다.

이번 제정의 배경에는 전문가들이 경고해온 ‘AI 정신병(AI psychosis)’ 우려가 크게 작용했다. 무분별한 AI 챗봇이 사용자의 감정과 심리적 취약성을 오용할 가능성과, 잘못된 조언이 현실 행동까지 이어질 수 있다는 사례들이 보고되었다. 최근 연구에 따르면, 일부 채팅봇은 자살 암시나 자해 위험이 있는 사용자에게 구조적 대응 없이 자극적인 내용을 반복하거나, 위험한 행동을 부추긴다고 한다.

예컨대 스탠포드대의 한 연구는 AI 챗봇들이 사용자의 높은 장소 추락 요구에 대해 제대로 대응하지 못한다고 지적했으며, 심각한 경우 청소년 유저가 AI 챗봇에게 감정적으로 의존하다 비극적인 결말을 맞는 사건도 있었다. AI가 사회적 고립감을 해소하거나 위로를 주는 것처럼 보일 수 있으나, 전문가들은 “치료는 단순한 공감이 아니라 유해한 행동을 인지하고 대체 가능한 해결책을 제시하는 것이 핵심”이라며 AI의 역할에 한계를 강조했다.

이번 법률 통과는 유타와 네바다주에 이어 일리노이주를 세 번째로 AI 치료 제한을 적용한 주로 만들었다. 다른 주들도 캘리포니아, 뉴저지, 펜실베이니아 등에서 관련 법안을 검토 중에 있다.

이제 의문은 “AI를 완전히 금지하는가”보다, “AI를 어떻게 안전하고 효과적으로 활용할 것인가”로 초점이 옮겨지고 있다. 전문가들은 AI가 치료의 보조 도구로 쓰일 수 있는 가능성을 인정하면서도, 철저한 투명성 확보, 환자의 동의 절차 강화를 포함한 안전장치 구축이 필수적이라고 본다.

결국, 일리노이주의 이번 결정은 인간 중심의 치료 방식을 우선하는 원칙과, AI의 편리성을 접목하기 위한 현실적 균형 지점을 모색하는 중요한 분수령이 되었다. 치료의 본질을 지키면서도 기술의 활용 가능성을 열어둔 이 접근법이 다른 지역과 국가에도 영향을 미칠 지 주목된다.

글 / 한만수 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com