Does generative AI help in learning programming:
Students' perceptions, reported use and relation to performance

수강생 80%가 AI 사용, 그러나 주간 정기 사용률은 3.9%에 불과

2022년 ChatGPT의 공개 출시는 인공지능(AI) 챗봇 활용에 중요한 전환점이 되었다. 특히 컴퓨터 과학과 교육 분야에서 코드 스니펫을 생성하는 AI 챗봇의 능력은 프로그래밍 교육에 새로운 기회와 도전을 가져왔다. 타르투 대학교(University of Tartu)의 연구진은 '객체 지향 프로그래밍(Object-Oriented Programming)' 수업에서 학생들이 AI 챗봇을 어떻게 활용하는지, 그리고 챗봇 사용과 학업 성취도 사이의 관계를 탐구했다.

연구 결과에 따르면, 수강생의 약 80%가 AI 챗봇을 최소 한 번 이상 사용해 봤으나, 주간 정기적 사용률은 3.9%에 불과했다. 이는 학생들이 AI의 가치를 인식하면서도 학습 루틴에 완전히 통합하지는 않았음을 시사한다. 학생들은 주로 코드 디버깅과 이해를 위해 AI를 활용했으며, 전체 솔루션을 생성하는 데는 덜 의존했다.

AI를 사용하지 않는 학생들은 주로 독립적인 학습 의지, 전통적인 문제 해결 방식 선호, 그리고 과제 설명이 충분히 명확하다는 이유를 들었다. 이는 AI 사용이 기본적인 학습을 약화시킬 수 있다는 우려를 반영한다. 학생들은 프로그래밍을 배우는 것이 주요 목표인 수업에서보다, 프로그래밍을 응용하는 수업에서 AI 사용이 더 적절하다고 인식했다.

72%의 학생들이 "AI가 도움된다" 평가, 속도와 가용성 장점으로 꼽아

AI 챗봇에 대한 학생들의 의견을 조사한 결과, 72%의 학생들이 AI 챗봇이 도움이 된다고 평가했다. 사용 빈도가 높을수록 유용성에 대한 인식도 증가했다. 이는 AI와 직접 경험할수록 학습 워크플로우에 통합하는 수용도가 높아진다는 기존 연구와 일치한다. 학생들이 가장 가치 있게 평가한 AI의 특성은 속도, 가용성, 언어 이해력, 질의 개선 능력이었다. 특히 AI가 즉각적인 응답을 제공하고 24시간 이용 가능하다는 점, 그리고 질문에 맞춰 응답을 조정할 수 있다는 점을 높이 평가했다. 하나의 학생은 에스토니아어로 피드백을 받을 수 있는 AI의 이점을 언급하기도 했다.

반면 AI의 단점으로는 오류, 오해석, 불필요한 코드 수정 등이 지적되었다. 많은 학생들이 AI가 때때로 실수를 하거나 잘못된 응답을 제공해 시간이 낭비된다고 느꼈다. 일부 학생들은 AI가 제안한 솔루션이 과도하게 복잡하거나 수업에서 다루지 않은 고급 주제를 포함하여 이해하기 어렵다고 했다. 또한 질문이나 프롬프트를 이해하지 못할 때 관련 없는 응답을 제공하는 경우도 문제점으로 지적되었다.

흥미롭게도 AI 효율성에 대한 의견은 엇갈렸다. 일부 학생들은 AI 응답이 전통적인 검색 방법보다 빠르다고 느낀 반면, 다른 학생들은 더 신뢰성이 높다는 이유로 기존 웹 검색을 선호했다. 이는 AI가 생성한 오류에 대한 부정적 경험이 학생들을 전통적인 자원으로 되돌아가게 만들 수 있음을 시사한다.

AI가 과제 해결 돕지만 다양한 해법 탐색은 줄어드는 경향

AI 보조 학습에서 가장 큰 우려 중 하나는 AI 도구에 대한 의존이 학생들의 문제 해결 능력을 제한하는지 여부였다. 연구 결과, 대부분의 학생들은 AI가 다양한 해결책 탐색을 줄이지 않았다고 느꼈지만, 일부는 독립적인 문제 해결 노력의 감소를 보고했다. 이는 AI가 학습을 촉진할 수 있지만, 복잡한 문제 해결에 대한 참여를 줄이는 인지적 지름길을 만들 수도 있음을 시사한다.

AI가 학생-강사 상호작용에 미치는 영향에 대해서도 흥미로운 결과가 나왔다. 선행 연구들이 AI 도구가 전통적인 도움 요청 행동을 대체할 수 있다고 제안했지만, 이 연구의 결과는 더 복잡한 역학을 보여준다. 일부 학생들은 초기 문제 해결에 AI가 유용하다고 느꼈지만, 상당수는 여전히 인간의 지도를 구했다. 이는 AI가 전통적인 교육 지원을 대체하기보다 보완해야 함을 시사한다.

학생들의 동기 부여 측면에서는, 대부분의 학생들이 AI 도구가 더 많은 과제를 해결하도록 동기를 부여했는지에 대해 중립적인 입장을 취했다. 이는 코스별 챗봇이 동기를 향상시켰다는 이전 연구와 차이가 있는데, 이는 일반적인 AI 도구가 모든 학생에게 동기를 크게 높이지 않을 수 있음을 시사한다.

역설적 결과: AI 챗봇 사용 빈도와 학업 성취도의 부정적 상관관계

이 연구의 가장 중요한 발견 중 하나는 AI 사용 빈도와 학업 성취도 사이의 부정적 상관관계였다. 이전 연구들이 중립적이거나 긍정적인 효과를 발견한 것과 달리, 이 연구 결과는 빈번한 AI 사용자들이 코스 작업에 더 어려움을 겪는 경향이 있음을 시사한다. 이러한 부정적 상관관계에 대한 한 가지 설명은 과정 자료가 어렵다고 인식하는 학생들이 보충 도구로 AI에 더 의존한다는 것이다. 이는 낮은 성적의 학생들이 추가 자원을 더 자주 사용하는 경향이 있다는 이전 연구 결과와 일치한다. 그러나 다른 요인들도 이 경향에 기여할 수 있다.

예를 들어, 학생의 능력 수준에 관계없이 AI에 너무 의존하면 기본적인 프로그래밍 기술 발전이 저해될 수 있다. 이는 학습 대신 문제 해결에 AI를 주로 사용하는 것과 관련될 수 있다. 향후 연구는 이러한 사용 패턴을 구분해야 하며, 학습 과정에 AI가 통합되는 방식에 따라 그 영향이 달라질 수 있다.

AI 사용은 학생들의 학습에 대한 태도와도 강하게 연결되어 있었다. 빈번한 사용자들은 과제에 대한 어려움이 적고 동기가 증가했다고 보고했다. 그러나 우려되는 점은 학생들이 AI를 많이 사용할수록 대안 솔루션과 과정 자료를 건너뛰는 경향이 있다는 것이다. 특히 이러한 행동이 인식된 AI 유용성과 관련이 없다는 점에서, 일부 학생들은 특별히 유용하다고 느끼지 않더라도 AI에 의존함을 시사한다.

FAQ

Q: 학생들이 프로그래밍 학습에서 AI 챗봇을 가장 많이 활용하는 용도는 무엇인가요?

A: 연구에 따르면 학생들은 주로 코드 디버깅(자신의 코드에서 오류 찾기)과 코드 이해(기존 코드 스니펫의 로직 설명)에 AI 챗봇을 활용했습니다. 반면 강의 퀴즈 답변이나 이론적 질문에 대한 답변 찾기는 상대적으로 적게 사용되었습니다.

Q: AI 챗봇 사용과 프로그래밍 학업 성취도 사이에는 어떤 관계가 있나요?

A: 흥미롭게도 연구는 AI 챗봇 사용 빈도와 학업 성취도 사이에 부정적 상관관계를 발견했습니다. AI 챗봇을 자주 사용한 학생들이 프로그래밍 시험에서 더 낮은 점수를 받는 경향이 있었습니다. 이는 어려움을 겪는 학생들이 도움을 위해 AI에 더 의존하거나, AI에 지나치게 의존하면 기본 프로그래밍 기술 발전이 저해될 수 있음을 시사합니다.

Q: 생성형 AI를 프로그래밍 교육에 효과적으로 통합하기 위한 방법은 무엇인가요?

A: 연구 결과는 교육자들이 AI를 학습 과정의 중심이 아닌 지원 도구로 위치시키는 구조화된 가이드라인을 제공해야 함을 시사합니다. 학생들이 AI가 생성한 솔루션을 비판적으로 평가하고, 다양한 접근 방식을 탐색하도록 장려하는 과제를 설계하는 것이 중요합니다. 또한 실패하는 학생들에게 AI 도구를 효과적으로 사용하는 방법에 대한 추가 지원을 제공하는 것이 필요합니다.

해당 기사에서 인용한 논문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗gpt를 활용해 작성되었습니다.