AI가 직장에서 빠르게 퍼지고 있지만, AI가 사용자가 요청하지도 않았는데 먼저 나서서 도와주려 하면 오히려 사람들이 거부한다는 연구 결과가 나왔다. 이스라엘 테크니온 대학교 연구팀은 AI가 적극적으로 개입할 때 사용자들이 불쾌감을 느끼고 AI 사용을 피한다는 현상을 확인했다고 발표했다.

코파일럿부터 지메일까지, 요청 없어도 나서는 AI가 거부당하는 이유

연구팀은 AI가 도움을 주는 방식을 두 가지로 나누었다. 첫째는 '반응형 도움'으로 사용자가 먼저 도와달라고 요청한 후에 도움을 주는 방식이다. 둘째는 '선제적 도움'으로 사용자가 요청하지 않았는데 AI가 먼저 나서서 도움을 주는 방식이다.

대표적인 예로 깃허브 코파일럿은 프로그래머가 코딩할 때 실시간으로 코드를 자동 완성해 주고, 지메일의 스마트 컴포즈는 사용자가 이메일을 쓸 때 문장을 미리 만들어준다. 마이크로소프트 365 코파일럿은 회의 중에 편집이나 다음 할 일을 알아서 제안하기도 한다. 이런 기능들이 모두 선제적 도움에 해당한다.

연구진은 미국의 직장인들을 대상으로 두 번의 큰 실험을 했다. 참가자들에게 컨설팅 회사 직원이 되어 고객 발표 자료를 준비하는 상황을 가정하게 하고, AI나 동료로부터 도움을 받는 상황을 체험하게 했다. 이전 연구들에서 챗GPT가 글쓰기 속도와 품질을 높이고, 고객 서비스 효율을 올린다는 결과가 나왔지만, 이번 연구는 사용자들이 실제로 AI를 받아들이는지에 집중했다. 실험 결과 AI가 먼저 나서서 도움을 준 경우 사용자들이 훨씬 큰 불쾌감을 느꼈다.

"내 능력 의심하나?" AI의 도움 제안에 자존심 상하는 사용자들

연구팀은 심리학 이론을 바탕으로 이런 현상을 설명했다. 사람들은 자신에 대해 긍정적으로 생각하고 싶어하는데, 요청하지도 않은 도움을 받으면 '내가 능력이 부족하다고 여겨지는 건 아닐까'라는 생각이 든다는 것이다. 특히 AI가 먼저 나서서 도움을 주면 사용자는 자신의 실력이 모자란다는 신호로 받아들여 방어적인 반응을 보인다.

이런 심리적 과정은 직장에서 상사나 동료가 부정적인 피드백을 주거나 요청하지 않은 조언을 할 때와 비슷하다. 도움을 주려는 의도였더라도 받는 사람은 자신의 능력을 의심받는다고 느껴 오히려 반발하게 된다.

실험에서 AI가 먼저 도움을 준 그룹은 자존심이 상했다고 느꼈고, 이는 AI 도움 받기를 거부하고, 앞으로 AI를 사용하지 않겠다고 하며, AI 성능에 대한 기대도 낮추는 결과로 이어졌다.

흥미롭게도 AI가 도움을 제안만 하고 사용자 동의를 구하는 방식과 바로 도움을 제공하는 방식 사이에는 큰 차이가 없었다. 즉, 단순히 "도와드릴까요?"라고 물어보는 것만으로는 불쾌감을 줄일 수 없다는 뜻이다.

같은 도움이라도 사람이 도와주는 건 OK, AI가 도와준다고 하면 불쾌해

연구에서 놀라운 발견은 사용자가 직접 도움을 요청한 경우에도 AI의 도움이 사람의 도움보다 더 불쾌하게 느껴진다는 점이었다. 사람끼리 도움을 주고받을 때는 서로 도와주는 관계라는 인식이 있어서 불쾌감이 줄어든다. 하지만 AI와는 그런 상호 관계가 성립하지 않는다는 분석이다.

첫 번째 실험에서 사람이 먼저 나서서 도움을 준 경우와 요청받고 도움을 준 경우의 불쾌감 차이는 컸지만, AI의 경우 그 차이가 상대적으로 작았다. 이는 AI 도움 자체가 이미 기본적으로 더 불쾌하게 느껴지기 때문으로 보인다.

연구팀은 "사용자에게 선택권을 주는 것만으로는 AI를 잘 받아들이게 할 수 없으며, 누가 도움을 주는지도 중요하다"고 설명했다. 이는 사람들이 알고리즘을 피하려는 경향이나 컴퓨터에 대한 사회적 반응과도 연결되는 결과다.

AI 어시스턴트 만들 때 고려해야 할 새로운 관점

이번 연구는 AI 시스템을 만들 때 새로운 관점을 제시한다. 기존 연구들이 시스템 신뢰도, 오류 비용, 사용자 상황에 따라 AI가 언제 행동할지를 결정하는 데 중점을 뒀다면, 이번 연구는 사용자의 심리적 준비 상태도 고려해야 한다고 강조한다. AI가 아무리 정확해도 사용자가 불쾌하게 느끼면 결국 사용하지 않게 된다.

연구팀은 심리적 비용을 고려한 세 가지 설계 방향을 제시했다. 첫째는 AI가 도움의 출처라는 점이 사용자 요청하에서도 중요하다는 것이다. 사용자에게 통제권을 주는 것만으로는 긍정적 수용을 보장할 수 없으며, AI는 무능함을 신호하지 않도록 추가적인 주의가 필요하다.

둘째는 최소한의 선택권만으로는 충분하지 않다는 점이다. 연구에서 확인 단계를 추가하는 것만으로는 도움이 요청되지 않았을 때 충분하지 않았다. 설계자들은 단일 승인 절차에 의존하기보다는 능동적 도움의 타이밍이나 형태를 조정하는 더 풍부한 방법을 고려해야 할 수도 있다.

셋째는 점진적 접근이다. 시스템이 처음부터 완전한 능동성을 도입하지 말고 점진적으로 이니셔티브를 확대하여 사용자가 적응할 수 있도록 하는 것이다. 지메일 스마트 컴포즈가 짧은 단어 완성으로 시작해서 나중에 전체 문장으로 넘어간 것과 같은 단계적 접근이 다른 영역에서도 인지된 위협을 줄이는 데 도움이 될 수 있다.

다만 연구팀은 이번 연구의 한계도 인정했다. 가상 상황을 이용한 실험은 이니셔티브를 심리적 변수로 분리하는 데는 강한 내적 타당성을 제공하지만 실제 상황과는 차이가 있을 수 있다. 실제 인터페이스에는 타이밍, 인터페이스 디자인, 축적된 이력 등 위협 반응을 조절할 수 있는 더 풍부한 단서들이 있다. 또한 미국 직장인을 중심으로 한 연구여서 도움과 피드백 규범의 문화적 차이는 다른 위협 양상을 낳을 수 있다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q: AI가 먼저 도움을 주는 것이 왜 문제가 되나요?

A: 사용자가 요청하지 않은 도움은 '내 능력이 부족하다'는 신호로 받아들여져 자존심이 상할 수 있습니다. 이 때문에 AI 사용을 피하게 됩니다.

Q: AI가 도움을 제안하고 승인을 받으면 괜찮을까요?

A: 연구 결과 단순히 "도와드릴까요?"라고 묻는 것만으로는 불쾌감이 크게 줄지 않았습니다. 요청하지 않은 도움 자체가 문제의 핵심이기 때문입니다.

Q: AI를 더 잘 받아들이게 하려면 어떻게 해야 할까요?

A: 점진적으로 도움을 늘리고, 사용자를 인정하는 표현을 쓰며, 도움을 지적이 아닌 협력으로 표현하는 것이 중요합니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Proactive AI Adoption can be Threatening: When Help Backfires

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.