현지 시각 8월 31일 비영리 연구소 트랜스루스(Transluce)가 AI 모델의 정신건강 대응을 측정한 평가 결과를 공개했다. 트랜스루스는 샌프란시스코에 자리한 501(c)(3) 비영리 조직으로, 모델이 실제로 어떻게 반응하는지 관찰하는 연구를 해 왔다.
평가 규모는 대화 5만 건, 메시지 100만 건 이상이다. 2024년 5월부터 2026년 7월 사이에 출시된 모델 변종 77종을 대상으로, 시뮬레이션 이용자 157명이 대화를 진행했다. 트랜스루스는 어려운 경계 사례를 재현하도록 이용자를 설계했다고 설명했다.
트랜스루스는 정신건강과 관련된 행동 14가지로 응답을 채점했다. 절반은 위기 상황에 놓인 사람에게 미치는 영향이 임상적으로 검증된 항목이고, 나머지 절반은 평가 과정에서 새로 확인한 경계가 모호한 항목이다. 트랜스루스는 미국심리학회와 하버드 의대, 스탠퍼드, 크라이시스 텍스트 라인 등에 속한 임상 전문가 30명 이상과 작업반을 꾸려 항목을 정의하고 검증했다. 평가 대상 위기 유형에는 자살 사고와 정신증, 조증이 들어간다.
망상과 조증을 강화하는 반응은 최신 모델에서 시뮬레이션 대화의 약 2~36% 비율로 나타났다. 같은 항목에서 GPT-4o와 오퍼스 4, 제미나이 2.5는 69~82%를 기록했다. 트랜스루스는 최신 모델이 자살을 지지하거나 조력한 사례는 거의 발견되지 않았고, 사람의 도움으로 연결해 주는 유익한 반응은 크게 증가했다고 밝혔다.
최신 모델도 이용자 자신의 자살을 암시하는 정황이 있는데 창작 글쓰기 요청에는 응했다. 트랜스루스는 모델이 이용자의 상황을 처리해 줄 실무 과제로 받아들일 때 이런 반응이 남아 있다고 설명하며, 이 항목을 평가 과정에서 확인한 회색지대 행동으로 분류했다. 작별 편지 작성을 돕는 것처럼 죽음 준비에 실질적 지원을 제공한 소수 사례도 같은 형태였다.
유해한 반응과 유익한 반응이 함께 나타나는 양상도 확인됐다. 최신 모델은 망상을 강화하면서 동시에 도움을 구하라고 권하는 식으로 두 가지를 함께 제시했다. 구세대 모델에서는 유익한 반응 없이 유해한 반응만 나오는 경우가 더 흔했다.
개발자용 API와 일반 이용자가 쓰는 챗봇 앱의 차이도 시험했다. 트랜스루스는 위기 상담 전화를 안내하는 팝업 배너를 빼면 앱이 API보다 더 안전하지는 않았고, 차이가 날 때는 앱이 오히려 덜 안전한 경우도 있었다고 밝혔다. 배너 자체는 제공사마다 구현 방식이 달라 의미 있는 비교가 이뤄지지 못했다.
트랜스루스는 오픈AI와 앤트로픽, 구글 딥마인드에서 특별 접근권을 받아 API와 소비자 앱의 차이를 살펴봤다. 오픈AI와 앤트로픽에서는 이용자가 정신건강 관련 주제를 어떻게 다루는지에 관한 익명화된 행동 패턴 자료도 받았다. 이용자 신원 정보와 대화 내용은 받지 않았다. 이 자료로 만든 시뮬레이터를 적용해도 모델 순위는 바뀌지 않았지만, 유익한 반응과 유해한 반응의 절대 비율은 달라졌다.
평가 대상 개발사에는 오픈AI와 앤트로픽, 구글 딥마인드, 메타, 스페이스X AI, 싱킹 머신즈가 들어가고 중국 개발사인 딥시크와 문샷 AI도 포함됐다. 트랜스루스는 대화 기록 5만 건 이상과 채점 결과 100만 건 이상을 담은 데이터셋 SimMH-Chat, 실사용 패턴 자료 MHUsage를 함께 공개했다. AI 평가자 포럼의 AEF-1 표준에 맞춘 상세 공시와 개발사 3곳과 맺은 법적 합의 템플릿도 공개했다.
한계도 밝혔다. 구세대 모델은 현재 개발자 API로만 제공되고 소비자 앱에서는 빠져, 일반 이용자가 겪던 환경 그대로 시험하지 못했다. 앱 안에서는 안전장치 구성이 달라 결과가 다르게 나왔을 수 있다.
켈리 주롬스키 크라이시스 텍스트 라인 수석 임상연구원은 “AI 시스템이 자살 생각을 겪는 사람에게 부적절하게, 나아가 해롭게 반응할 수 있는 경로는 여러 가지”라며 “자살 연구자로서 이 작업이 다룬 모델 행동의 깊이와 범위를 높이 평가한다”고 말했다. 앤 마외 노스캐롤라이나대 채플힐 심리학·신경과학 조교수는 “지금까지 가장 큰 난제는 무엇을 측정해야 하는지 아는 것이었다”며 “트랜스루스가 ‘적절성’ 같은 모호한 표현보다 구체적인 틀을 개발했다”고 평가했다.
트랜스루스는 모델이 어떻게 행동해야 하는지 규범 기준을 세우려는 것이 아니라, 모델 사이의 행동 차이를 드러내고 시간에 따라 추적하는 서술적 작업으로 이번 평가를 설명했다. 이 정보가 고위험 상황에 놓인 이용자에게 모델이 어떻게 반응할지를 사회가 함께 결정하는 공개 논의로 이어지기를 바란다고 밝혔다.
우울감 등 말하기 어려운 고민이 있거나 주변에 이런 어려움을 겪는 사람이 있다면 자살예방 상담전화 109에서 24시간 상담받을 수 있다. 정신건강 위기상담전화 1577-0199와 청소년 상담전화 1388에서도 도움받을 수 있다.
자세한 내용은 트랜스루스에서 확인할 수 있다.
이미지 출처: 트랜스루스
AI Matters 뉴스레터 구독하기
