The Impact of Generative AI on Essay Revisions and Student Engagement

AI 피드백 적용 학생, 에세이 점수 평균 3.342점 더 향상

홍콩 대학생들의 에세이 작성 과정에서 생성형 인공지능(Generative AI)의 활용이 실질적인 학습 효과를 가져온다는 연구 결과가 발표됐다. 랭카스터 대학교와 홍콩 폴리테크닉 대학교 연구진이 수행한 이 연구는 생성형 AI가 제공하는 피드백이 학생들의 에세이 개선과 학습 참여도에 미치는 영향을 실증적으로 분석했다.

연구팀은 홍콩 소재 대학교에서 영어 기초 과정을 수강하는 1,102명의 1학년 학생들을 대상으로 무작위 대조 연구를 진행했다. 실험군(411명)은 ChatGPT가 제공한 AI 피드백을 받았고, 대조군(691명)은 교수자가 작성한 일반적인 피드백을 받았다. 두 집단 모두 처음 작성한 에세이와 피드백을 받은 후 수정한 에세이에 대해 평가를 받았으며, 피드백 과정에서의 동기부여, 참여도, 감정적 반응 등도 함께 측정됐다.

연구 결과, AI 피드백을 받은 학생들은 대조군에 비해 평균 3.342점 높은 점수 향상을 보였다. 이러한 차이는 통계적으로 유의미했으며(p = 0.003), AI 피드백과 점수 향상 사이에 약한 양의 상관관계(r = 0.208)가 확인됐다. 이는 생성형 AI가 제공하는 맞춤형 피드백이 학생들의 에세이 작성 능력 향상에 실질적인 도움이 된다는 사실을 보여준다.

동기부여 31% 증가, 감정적 반응은 통계적으로 유의미하지 않아

연구의 또 다른 중요한 발견은 AI 피드백이 학생들의 동기부여와 참여도에 긍정적인 영향을 미쳤다는 점이다. 설문조사 결과, AI 피드백을 받은 학생들은 대조군에 비해 동기부여(p = 0.0001)와 과제 참여도(p = 0.0346) 측면에서 통계적으로 유의미한 향상을 보였다. 특히 동기부여는 AI 피드백과 중간 정도의 상관관계(r = 0.31)를 나타냈으며, 이는 AI 피드백이 학생들의 학습 의욕을 높이는 데 효과적임을 시사한다.

그러나 감정적 측면에서는 혼합된 반응이 관찰됐다. AI 피드백과 긍정적 감정 사이의 상관관계는 매우 약했으며(r = 0.092), 통계적으로 유의미하지 않았다(p = 0.0785). 18명의 학생들과 진행한 심층 인터뷰에서도 AI 피드백에 대한 감정적 반응은 다양했다. 일부 학생들은 피드백의 명확성과 실용성에 만족감을 표현한 반면, 다른 학생들은 피드백이 비판적이라고 느끼거나 인간 교수자의 피드백에 비해 부족하다고 평가했다.

한 학생은 "피드백이 매우 명확했고, 성적을 향상시키기 위해 정확히 무엇을 해야 하는지 알려주었다"고 긍정적으로 평가한 반면, 다른 학생은 "피드백을 받는 것이 좋지 않았다. 내 작업을 비판하는 것 같아 스트레스를 받았다"고 부정적인 경험을 공유했다.

"피드백이 매우 명확했다" vs "비판적이어서 스트레스 받았다" - 학생들의 양면적 반응

연구 결과에 따르면, AI 피드백의 가장 큰 장점은 구체적이고 실용적인 조언을 제공한다는 점이다. 인터뷰에 참여한 학생들은 AI 피드백이 자신의 작문에서 개선이 필요한 특정 영역을 정확히 지적하고 실행 가능한 개선 방안을 제시했다고 평가했다. 특히 AI 피드백이 학생들에게 자신의 작업을 수정하는 데 있어 목적의식과 방향성을 제공했다는 점이 긍정적으로 평가됐다.

또한, 연구는 동기부여와 참여도가 에세이 개선에 강한 상관관계를 가진다는 점을 발견했다. 모든 참가자를 대상으로 한 분석에서 동기부여(r = 0.901)와 참여도(r = 0.885)는 모두 에세이 점수 향상과 높은 상관관계를 보였다. 이는 학생들의 에세이 작성 능력 향상에 있어 동기부여와 참여도가 핵심 요소임을 시사한다.

다만, 연구팀은 이러한 결과가 실제 교육 환경에서도 동일하게 적용될지에 대해서는 추가 연구가 필요하다고 지적했다. 실험 환경에서는 피드백이 과제 수정에 목적의식을 부여했을 수 있으나, 학점이나 자격 취득에 영향을 미치지 않는 과제였기 때문에 실제 교육 상황과는 차이가 있을 수 있다는 것이다.

AI와 학습 성취도의 상관관계: 동기부여와 참여도가 핵심 요인

이 연구는 생성형 AI가 고등 교육, 특히 영어 교육 분야에서 가지는 잠재력을 보여준다. AI 피드백은 교육자들이 대규모 수업에서도 맞춤형 피드백을 효율적으로 제공할 수 있게 하며, 학생들의 작문 능력과 학습 참여도를 향상시킬 수 있다. 연구진은 "대학 수준의 언어 과정에 LLM 기반 피드백 도구를 통합하면 에세이 품질과 작문 과제에 대한 학생 참여도를 향상시킬 수 있다"며 "교육자들은 AI 피드백에 대한 학생들의 혼합된 감정적 반응을 인식하고, 부정적 경험을 완화하기 위한 추가 지원을 제공해야 한다"고 권고했다.

또한, "AI 도구를 통합하는 정책은 교사의 업무량을 줄이면서도 학생들에게 고품질 피드백을 제공하여 전반적인 교육 성과를 향상시키는 것을 고려해야 한다"고 제안했다. 이는 AI가 교육자를 대체하는 것이 아니라, 교육자들이 더 효과적으로 학생들을 지원할 수 있도록 보완하는 역할을 해야 함을 강조한 것이다.

이 연구는 생성형 AI가 교육에서 어떻게 활용될 수 있는지에 대한 논의에 중요한 경험적 증거를 제공하며, 특히 언어 교육과 학생 발달을 지원하는 데 있어 AI의 역할에 대한 이해를 넓히는 데 기여한다. 향후 연구는 다양한 학문 분야, 연령대, 문화적 맥락에서 생성형 AI 피드백의 효과를 조사하고, 학생들의 장기적인 학습과 스킬 개발에 미치는 영향을 분석할 필요가 있다.

FAQ

Q: 생성형 AI 피드백은 어떻게 학생들의 에세이 작성을 향상시키나요?

A: 생성형 AI는 학생들의 작문에서 개선이 필요한 특정 영역을 정확히 지적하고, 구체적이고 실행 가능한 개선 방안을 제시합니다. 연구에 따르면 AI 피드백을 받은 학생들은 그렇지 않은 학생들보다 평균 3.342점 더 높은 점수 향상을 보였습니다. 또한 AI 피드백은 학생들의 동기부여와 참여도를 높여 더 효과적인 에세이 수정을 가능하게 합니다.

Q: 교육에서 AI 피드백 사용의 한계점은 무엇인가요?

A: AI 피드백은 학생들에게 혼합된 감정적 반응을 일으킬 수 있습니다. 일부 학생들은 피드백이 비판적이라고 느끼거나 인간 교수자의 피드백에 비해 부족하다고 평가합니다. 또한 AI 피드백이 실제 교육적 가치를 제공하는지에 대한 학생들의 의견도 나뉘었습니다. 일부 학생들은 AI가 실질적인 학습보다는 단순 수정에만 도움이 된다고 생각했습니다.

Q: 교육자들은 생성형 AI 피드백을 어떻게 효과적으로 활용할 수 있나요?

A: 교육자들은 AI 피드백을 통합적인 교육 도구로 활용하여 대규모 수업에서도 맞춤형 피드백을 제공할 수 있습니다. AI 피드백에 대한 학생들의 혼합된 감정적 반응을 인식하고, 부정적 경험을 완화하기 위한 추가 지원을 제공하는 것이 중요합니다. AI는 교육자를 대체하는 것이 아니라, 교육자들이 더 효과적으로 학생들을 지원할 수 있도록 보완하는 역할을 해야 합니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.