요즘 AI가 우리 생활 곳곳에 들어와 있다. 스마트폰, 자동차, 집안 기기까지 AI가 끊임없이 조언하고 경고한다. 하지만 문제가 생겼다. AI가 너무 자주 말을 걸어서 사람들이 짜증을 낸다는 것이다. 예를 들어보자. 집 차고에 주차할 때마다 "충돌 위험!"이라고 경고하는 자동차가 있다고 생각해 보자. 처음에는 고마웠지만, 매일 똑같은 소리를 들으면 짜증이 난다. 결국 정말 위험한 상황에서도 경고음을 무시하게 된다. 투자 조언 AI도 마찬가지다. 20년 넘게 투자해 온 베테랑에게 "주식이 뭔지 알려드릴게요" "분산투자가 중요해요"라고 계속 기초 설명을 하면 그 AI를 쓰기 싫어진다.

이런 현상을 의학계에서는 '알림 피로(x-alert fatigue)'라고 부른다. 실제로 병원에서 의사들을 돕는 AI 시스템 연구를 보면, 불필요한 경고가 너무 많으면 의사들이 정말 중요한 경고까지 무시한다는 것이 밝혀졌다. 2017년 앤커(Ancker) 연구진의 조사에서도 과도한 알림이 의료진의 판단력을 오히려 떨어뜨린다는 결과가 나왔다. 미국 캘리포니아 대학교 연구진이 이런 문제를 해결할 방법을 찾았다. AI가 항상 도움을 주는 것보다 적절한 때만 도움을 주는 것이 훨씬 좋다는 것을 증명했다.

AI가 사람 마음을 읽어서 도움 주는 시기를 정한다

연구진이 만든 새로운 시스템은 사람의 마음 상태를 알아낸다. 특히 그 사람이 AI에 얼마나 관심을 갖고 있는지를 파악한다. 이것을 '참여도'라고 부른다. 이 시스템의 핵심은 '마음 이론(Theory of Mind)' 개념이다. 다른 사람이 무엇을 생각하고 믿는지 추론하는 능력인데, AI도 이런 능력을 갖게 된 것이다. AI가 사용자의 생각과 의도, 지식 수준을 파악해서 행동을 결정한다.

이 시스템은 매 순간 두 가지를 생각한다. "이 사람이 지금 내 도움 없이도 잘할 수 있나?" 그리고 "내가 도움을 주면 이 사람이 나를 더 싫어하게 될까?" 이런 식으로 계산해서 도움을 줄지 말지 결정한다. 이것을 '반사실적 추론'이라고 하는데, 쉽게 말하면 "만약에 내가 개입하지 않았다면 어떻게 됐을까?"를 생각하는 것이다. 기존 AI는 1999년 호비츠(Horvitz) 연구진이 만든 유틸리티 기반 방식을 썼다. 미리 정해진 규칙대로만 작동했다. 새로운 AI는 다르다. 사람의 마음을 읽고, 상황을 판단해서 행동한다. 마치 눈치 있는 친구처럼 말이다.

실험 결과, 똑똑한 AI가 91점으로 1등

연구진은 컴퓨터로 정교한 실험을 설계했다. 가상의 사람이 100번 결정을 내리는 상황을 만들었다. 각 상황은 "친숙한 일"과 "낯선 일"로 나뉜다. 친숙한 일은 집에 주차하기처럼 이미 잘 아는 일이고, 낯선 일은 복잡한 투자 결정처럼 어려운 일이다. 실험 조건은 이랬다. 친숙한 일에서는 사람이 혼자서도 100% 올바른 결정을 내릴 수 있다. 하지만 낯선 일에서는 혼자서 30%만 올바른 결정을 내릴 수 있다. AI 조언을 듣고 따르면 항상 100% 맞출 수 있지만, 문제는 사람이 AI 말을 들을지 안 들을지가 불확실하다는 것이다.

세 가지 AI를 비교했다. 첫 번째는 '항상 도움 주는 AI'로 친숙한 일이든 낯선 일이든 무조건 조언한다. 두 번째는 '절대 도움 안 주는 AI'로 아무 말도 하지 않는다. 세 번째는 '똑똑한 AI'로 상황을 보고 판단해서 필요할 때만 도움을 준다. 100번의 결정 중 올바른 결정을 몇 번 내렸는지 세어봤다. 결과가 놀라웠다. 똑똑한 AI와 함께한 사람은 91번 맞혔다. 항상 도움 주는 AI와 함께한 사람은 85번, 절대 도움 안 주는 AI와 함께한 사람은 77번 맞혔다.

왜 이런 차이가 났을까? 항상 도움 주는 AI는 친숙한 상황에서도 계속 "조심하세요" "이렇게 하세요"라고 말했다. 사람들은 "내가 이미 잘 아는 건데 왜 자꾸 말해?"라면서 짜증을 냈다. 결국 AI를 무시하는 습관이 생겼다. 정작 어려운 상황에서 정말 도움이 필요할 때도 AI 말을 듣지 않아서 실수를 많이 했다. 똑똑한 AI는 달랐다. 친숙한 상황에서는 조용히 있다가 어려운 상황에서만 "이건 복잡하니까 제가 도와드릴게요"라고 말했다. 사람들은 "정말 필요할 때만 도움을 주는구나"라고 생각하면서 AI를 계속 신뢰했다.

연구진은 더 자세한 실험도 했다. 어려운 일을 잘 못하는 사람일수록 AI 도움의 효과가 컸다. 반대로 어려운 일도 혼자 잘하는 사람에게는 AI가 조언을 더욱 자제하는 것이 좋았다. 또한 어떤 사람은 한 번 실망하면 오랫동안 AI를 무시하고, 어떤 사람은 금방 다시 관심을 갖는다는 것도 발견했다.

개인 맞춤형 AI 도우미 시대 열린다

이 연구는 앞으로 더 발전할 수 있다. 각 사람마다 성격이 다르니까 AI도 개인에게 맞춰야 한다. 어떤 사람은 조언을 자주 들어도 괜찮고, 어떤 사람은 조금만 들어도 싫어한다. 연구진은 사람들의 반응 패턴을 여러 종류로 나눴다. 한 번 AI에 실망하면 아예 끄는 사람부터, 불확실한 상황에서만 도움받고 싶어 하는 사람까지 다양했다. AI가 이런 패턴을 학습해서 각자에게 맞는 방식으로 대응할 수 있다.

흥미로운 점은 이 연구가 '오프 스위치 문제'와도 연결된다는 것이다. 이는 AI가 사람에게 해를 끼치지 않으려면 스스로 개입을 줄일 줄 알아야 한다는 개념이다. 새로운 연구는 한발 더 나아가서, AI가 단순히 꺼지는 것이 아니라 상황에 맞게 개입 수준을 조절하는 방법을 제시했다.

AI가 시간을 두고 각 사람을 관찰하면서 배울 수 있다. "이 사람은 운전할 때 조언 듣기 싫어하는구나" "이 사람은 돈 관련해서는 도움받고 싶어 하는구나" "이 사람은 새로운 일에 도전할 때만 도움이 필요하구나" 이런 식으로 개인별 특성을 파악한다. 그러면 정말 개인 맞춤형 AI 도우미가 탄생한다. 사람과 AI가 서로 짜증 내지 않고 오랫동안 좋은 관계를 유지할 수 있다. 사용자가 어떤 작업을 완전히 익혔을 때를 AI가 알아채고, 그때부터는 도움을 줄여나가는 것도 가능하다.

FAQ

Q: AI가 도움을 안 주는 게 어떻게 더 좋을 수 있나요?

A: 계속 필요 없는 조언을 들으면 사람들이 AI를 신뢰하지 않게 됩니다. 정말 도움이 필요한 순간에도 AI 말을 무시하게 되어 전체적으로 나쁜 결과가 나옵니다.

Q: 이 새로운 AI는 기존 AI와 뭐가 다른가요?

A: 기존 AI는 정해진 대로만 행동합니다. 새로운 AI는 사람의 마음 상태를 파악해서 상황에 맞게 도움을 줄지 말지 스스로 판단합니다.

Q: 이런 기술을 어디에 쓸 수 있나요?

A: 자동차 안전 장치, 병원에서 의사 돕는 시스템, 투자 조언 앱, 공부 도와주는 AI 등 사람과 계속 대화하는 모든 AI에 쓸 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: When not to help: planning for lasting human-AI collaboration

이미지 출처: 이디오그램 생성 이미지 편집

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.