AI 도움을 10분 정도만 받아도 혼자 문제를 풀 때 쉽게 포기한다는 연구 결과가 공개됐다. 카네기멜런대 그레이스 리우 연구원이 제1저자로, UC 버클리 인간호환AI센터(CHAI)의 브라이언 크리스천 연구원과 MIT, 옥스퍼드대, UCLA 연구진이 참여해 무작위 대조 시험 3건(참가자 총 1,222명)을 진행했다. 버클리 뉴스가 현지 시각 10월 9일 이 연구를 소개했다. 무작위 대조 시험은 참가자를 무작위로 나눠 조건별 결과를 비교하는 연구 방법이다.

첫 실험에서는 354명이 분수 문제 15개를 푸는 과제를 수행했다. 한 집단은 스스로, 다른 집단은 챗GPT를 열어 둔 채 문제를 풀었고, AI 집단은 12번째 문제 이후 AI를 쓸 수 없게 했다. AI 집단은 처음에는 정답률이 더 높았지만, AI가 사라진 뒤 정답률이 떨어지고 문제를 건너뛰거나 아예 포기하는 비율이 증가했다. 분석 대상 307명 기준으로 AI 제거 후 정답률은 AI 집단 57%, 대조 집단 73%였고, 문제를 건너뛴 비율은 20%와 11%였다.

667명이 참가한 두 번째 실험은 사전 시험을 추가하고 대조 집단에도 같은 형태의 보조 화면을 제공했다. AI 집단의 정답률은 71%로 대조 집단(77%)보다 낮았다. AI 사용 방식별로 보면 AI 집단의 61%는 정답을 바로 받는 방식으로 썼는데, 이들의 정답률은 65%였다. 힌트를 얻는 데 쓴 참가자는 76%로 대조 집단과 비슷했다. 201명이 SAT 독해 문제를 푼 세 번째 실험에서도 정답률은 AI 집단 76%, 대조 집단 89%였고, 건너뛴 비율은 8%와 1%였다.

논문 제목은 ‘AI 도움은 끈기를 줄이고 독립적 수행을 해친다(AI Assistance Reduces Persistence and Hurts Independent Performance)’이며, 수정된 동료 심사본이 언어모델 학회(COLM)에서 발표됐다. 연구진은 AI가 어려움을 견디며 배우는 ‘생산적 고투’ 과정을 없앤다고 설명했다.

크리스천 연구원은 “우리는 이 시스템을 도움이 되도록 설계했지만, 실제로 우리에게 도움이 되는 방식인지는 따져 봐야 한다”며 “역설적으로 AI가 도움이 되지 않는 방식으로 돕는 경우가 많다는 점을 확인했다”고 말했다. 그는 AI가 정답을 바로 주기보다 튜터처럼 과정을 돕는 방식을 기본으로 삼고, 사람의 능력을 대체하지 않고 보강하는 방향이 바람직하다고 말했다.

자세한 내용은 버클리 뉴스(Berkeley News)에서 확인할 수 있다.

이미지 출처: UC 버클리