홍콩과학기술대학교와 노트르담대학교 연구팀이 AI가 대화 상황에 맞춰 말하는 방식을 바꿀 수 있는 새로운 기술 'PersonaFuse(퍼소나퓨즈)'를 개발했다고 발표했다. 이 기술은 AI의 감정 이해 능력을 크게 늘리면서도 기본적인 문제 해결 능력과 안전성은 그대로 유지한다는 점에서 주목받고 있다.

기존 AI의 천편일률적 답변 문제 해결

현재 대부분의 AI는 사용자가 어떤 감정 상태에 있든, 어떤 상황이든 비슷한 방식으로 답한다. 예를 들어 불안해하는 사람이 도움을 요청할 때와 토론에서 논리적인 설명이 필요할 때 모두 GPT-4o는 비슷한 형식으로 핵심 내용만 나열해서 답한다. 연구팀은 이런 문제를 해결하기 위해 심리학의 '5가지 성격 요소' 이론과 '상황에 따른 성격 표현' 이론을 AI에 적용했다.

PersonaFuse는 사람의 성격을 나타내는 5가지 요소인 개방성(새로운 것에 얼마나 열려있는지), 성실성(얼마나 꼼꼼하고 계획적인지), 외향성(얼마나 활발하고 사교적인지), 친화성(얼마나 협조적이고 배려하는지), 신경성(얼마나 불안하고 예민한지)을 각각 높은 수준과 낮은 수준으로 나누어 총 10개의 성격 특성 별 전문가 모듈을 만들었다. AI가 질문을 받으면 상황을 분석해서 가장 적절한 성격 특성을 가진 전문가 모듈을 선택하는 구조다.

감정 이해 능력 벤치마크에서 최대 69% 향상

연구팀이 여러 벤치마크를 통해 테스트한 결과 PersonaFuse는 기존 AI 대비 감정을 이해하고 적절히 반응하는 능력이 크게 향상됐다. Direct-finetuned 기본 모델과 비교했을 때 EmoBench 벤치마크에서 전체적으로 37.9% 향상됐고, 이 중 감정 이해 부분에서는 72.7%, 감정 활용 부분에서는 31.9% 향상됐다. EQ-Bench 벤치마크에서는 69.0%, ToMBench 벤치마크에서는 11.9% 향상됐다.

특히 EQ-Bench는 복잡한 대화에서 상대방의 감정 정도를 파악하는 능력을 측정하는 벤치마크로, 이 분야에서 큰 폭으로 개선된 것은 AI가 단순히 외운 답변이 아닌 진짜 상황 판단을 통한 감정 이해를 할 수 있음을 보여준다.

연구팀은 비교를 위해 무작위로 전문가 모듈을 선택하는 AI도 만들어 테스트했는데, 이런 AI들은 제한적인 향상만을 보였다. 이는 단순히 여러 가지 전문가 모듈을 많이 만드는 것이 아니라, 상황에 맞는 올바른 모듈을 선택하는 것이 중요함을 보여준다.

다른 능력 떨어뜨리지 않고 전체적 성능 향상

AI의 특정 능력을 향상시키면 다른 능력이 떨어지는 현상을 '파괴적 망각'이라고 하는데, 이는 AI 개발에서 자주 발생하는 문제다. 하지만 PersonaFuse는 이런 문제 없이 오히려 다른 능력까지 함께 향상시켰다. 대학원 수준 문제 해결 벤치마크인 GPQA에서 9.7%, 실제 사용자 질의 응답 벤치마크인 Arena-Hard에서 79.0%, 수학 문제 해결 벤치마크인 GSM8k에서 67.3% 성능이 향상됐다.

안전성 벤치마크인 SafetyBench에서도 전반적으로 1.7% 향상됐고, 특히 불법적인 내용에 대한 질문에서는 10.6%, 편견이나 차별적 내용에서는 6.3% 더 안전한 답변을 했다. 반면 기존 방식들은 Human-Like-Finetuned 모델이 GPQA에서 21.3% 성능이 떨어지고 SafetyBench에서도 평균 9.9% 하락하는 문제를 보였다.

실제 서비스 분야에서도 13.2% 성능 향상

PersonaFuse는 고객 서비스와 심리 상담 같은 실제 사람과의 상호작용이 중요한 분야에서도 좋은 성과를 보였다. 고객 서비스에서는 정확하고 체계적인 정보 제공, 친절한 대응, 스트레스 상황에서의 침착한 반응이 필요한데, PersonaFuse는 이런 요구에 맞춰 적절한 성격 특성을 활용해 기존 Direct-finetuned 모델보다 6.3% 향상된 서비스를 제공했다.

심리 상담 분야에서는 더욱 인상적인 결과를 보였다. MentalChat16K 벤치마크에서 전반적으로 13.2% 성능이 향상됐고, 특히 상대방에 대한 공감 능력에서 14.3%, 적극적으로 들어주는 능력에서 13.2% 개선됐다. 이는 전문적인 상담에서 가장 중요한 요소들로, AI가 사람의 마음을 이해하고 도움을 줄 수 있는 능력을 갖추었음을 보여준다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1: PersonaFuse가 기존 AI와 어떻게 다른가요? A1: 기존 AI는 모든 상황에서 비슷하게 대답하지만, PersonaFuse는 상황에 맞춰 말하는 방식을 바꿉니다. 불안한 사람에게는 따뜻하고 안정감 있게, 창작 작업에서는 자유롭고 열린 마음으로, 논리적인 문제에서는 꼼꼼하고 체계적으로 답하는 식으로 상황에 가장 적합한 방식을 선택합니다.

Q2: AI가 성격을 바꾸는 것이 안전한가요? A2: PersonaFuse는 심리학에서 검증된 이론을 바탕으로 만들어져 예상 가능하고 통제된 방식으로 작동합니다. 실제 안전성 벤치마크에서 기존 AI보다 더 안전한 답변을 하는 것으로 확인됐습니다.

Q3: 이 기술이 실제로 어디에 쓰일 수 있나요? A3: 고객 서비스, 심리 상담, 교육, 의료 등 사람과 직접 대화하는 모든 분야에서 활용할 수 있습니다. 특히 사용자의 감정 상태와 상황적 필요에 민감하게 반응해야 하는 서비스에서 큰 도움이 될 것으로 기대됩니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: PersonaFuse: A Personality Activation-Driven Framework for Enhancing Human-LLM Interactions

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.