미국 퍼듀대학교 물리천문학과 윈터 앨런(Winter Allen) 연구팀이 물리학 수업에서 인공지능을 활용한 실험을 진행했다. 대학 1학년 물리 수업에서 학생들이 작성한 과학 논리 설명문을 오픈AI의 GPT-4o에게 채점하도록 한 뒤, 학생들의 반응을 조사한 것이다.

대학 물리 수업에서 학생들은 종종 문제의 핵심 원리를 이해하지 못한 채 답만 맞히려고 한다. 연구진은 학생들이 문제를 어떻게 풀었는지 논리적으로 설명하게 함으로써 더 깊이 있는 학습을 유도하려 했다. 하지만 대규모 수업에서 모든 학생의 글을 일일이 검토하고 피드백을 주는 것은 현실적으로 불가능했다. 이런 문제를 해결하기 위해 AI의 도움을 받기로 한 것이다.

AI가 매긴 점수, 실제 실력과 정확히 일치

연구진은 GPT-4o가 학생들의 설명문에 매긴 점수가 얼마나 정확한지 확인했다. 퀴즈 8에서는 730명의 학생이 참여했는데, 객관식 문제가 매우 어려워서 정답률이 47%에 그쳤다. GPT-4o는 학생들의 설명문을 5점 만점에 평균 1.69점으로 채점했다.

놀라운 것은 객관식 문제를 맞힌 학생들의 설명문 점수가 평균 2.14점인 반면, 틀린 학생들은 평균 1.12점을 받았다는 점이다. 통계 분석 결과 이 차이는 우연이 아니라 매우 의미 있는 차이였다. 퀴즈 9에서도 비슷한 결과가 나왔다. 565명이 참여한 쉬운 문제(정답률 76%)에서 정답자들은 평균 2.77점, 오답자들은 2.53점을 받았다.

이는 AI가 학생들의 물리학적 사고 과정을 상당히 정확하게 파악할 수 있음을 보여준다.

학생 대부분 "AI 피드백 도움 된다" 긍정 평가

연구진은 학생들이 AI로부터 받은 피드백을 어떻게 생각하는지 설문조사했다. 퀴즈를 본 후 1~2주 뒤에 학생들에게 AI가 작성한 피드백과 점수를 보여주고, 얼마나 도움이 되고 정확한지 물어봤다.

결과는 매우 긍정적이었다. 두 번의 퀴즈 모두에서 대부분의 학생들이 AI 피드백을 "대체로 유용하다"와 "대체로 정확하다"고 평가했다. 특히 객관식 문제를 맞힌 학생과 틀린 학생 사이에 AI 피드백에 대한 평가 차이가 거의 없었다. 즉, 문제를 잘 풀든 못 풀든 상관없이 학생들이 AI 피드백을 유용하다고 느꼈다는 뜻이다.

"물리 개념만 콕 집어서 설명" AI 피드백의 장점

실제 AI가 작성한 피드백 사례를 보면 그 특징을 알 수 있다. 한 학생이 5점 만점에 3점을 받고 "매우 유용함"이라고 평가한 피드백은 다음과 같다. "학생이 쓴 글에서 에너지 보존 법칙을 잘 언급했고, 운동 에너지 변화가 외부에서 가한 일과 같다는 것을 올바르게 설명했다. 전체 시스템에 가해진 일이 운동 에너지 변화와 내부 에너지 변화의 합과 같다는 개념도 잘 이해하고 있다. 하지만 점 입자 에너지 원리에 대한 언급이 없고, 속도나 힘, 마찰 등에 대한 가정도 설명하지 않았다."

이 사례는 AI가 문법이나 글쓰기 실력보다는 물리학 개념의 정확성에 집중해서 피드백을 준다는 것을 보여준다. 연구진은 이런 방식이 학생들의 과학적 사고력 향상에 더 도움이 된다고 평가했다.

FAQ

Q: AI가 학생들의 과학 과제를 제대로 채점할 수 있나요?

A: 이번 연구에서 GPT-4o는 문제를 맞힌 학생과 틀린 학생의 설명문을 명확하게 구분해서 채점했습니다. 어려운 문제와 쉬운 문제 모두에서 일관되게 정확한 채점을 보여줘 AI 채점의 신뢰성을 입증했습니다.

Q: 학생들이 AI 피드백을 믿고 도움이 된다고 생각하나요?

A: 실험에 참여한 대부분의 학생들이 AI 피드백을 유용하고 정확하다고 평가했습니다. 특히 문제를 맞힌 학생과 틀린 학생 모두 비슷하게 AI 피드백을 긍정적으로 받아들였습니다.

Q: 대규모 수업에서 AI 피드백 시스템의 장점은 무엇인가요?

A: 기존에는 수백 명이 듣는 대형 강의에서 모든 학생에게 개별 피드백을 주는 것이 불가능했습니다. AI를 사용하면 모든 학생이 즉시 자세한 피드백을 받을 수 있어 학습 효과가 크게 향상될 것으로 기대됩니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Students' Perceptions to a Large Language Model's Generated Feedback and Scores of Argumentation Essays

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.