영국 킹스칼리지 런던 정보학과 연구진이 인공지능을 활용한 맞춤형 학습 프로그램을 만들어 영국 운전면허 이론 시험 준비에서 큰 성과를 냈다. 연구를 주도한 이브게니아 쿠즈미니흐(Ievgeniia Kuzminykh) 교수팀은 구글의 제미나이(Gemini) 인공지능을 사용해 학습자 개개인의 실력에 맞춰 문제를 자동으로 만들고 맞춤형 설명을 제공하는 시스템을 개발했다. 전문가들이 평가한 결과, AI가 만든 문제의 정확성과 적합성이 사람 전문가가 만든 것과 거의 같은 수준을 보여 AI의 교육 활용 가능성을 보여줬다.

구글 제미나이로 만든 문제, 전문가들도 인정한 높은 품질

연구진은 구글 제미나이 플래시 모델을 사용해 영국 운전면허 이론 시험 문제를 자동으로 만드는 시스템을 개발했다. 제미나이 플래시는 여러 인공지능 기술을 합친 모델로 사용하기 쉽고 빠른 속도가 장점이어서 선택됐다. 연구진은 처음에는 기존 운전면허 문제로 AI를 훈련시키려 했지만, 공개된 자료가 부족해 대신 프롬프트 기법을 사용했다. 프롬프트 기법은 AI에게 명령어를 주어 원하는 결과를 얻는 방법이다.

시스템의 정확성을 높이기 위해 RAG라는 기술을 도입했다. 이는 데이터베이스에서 사용자 정보를 찾아와 AI가 엉뚱한 답변을 하는 것을 줄이고 더 정확한 답변을 하도록 돕는 기술이다. 100개 문제를 대상으로 한 평가에서 정확성 면에서 AI 모델은 98개 문제를 '매우 정확함', 2개를 '조금 정확함'으로 평가받았다. 전문가 평가에서는 각각 94개와 6개를 기록했다. 문제가 주제에 맞는지를 보는 평가에서는 AI가 70개와 27개, 전문가가 58개와 33개를 기록했다.

개인별 약점을 찾아 맞춤 문제 제공... 수학 공식보다 전문가 판단이 어려워

이 프로그램의 핵심 기능은 학습자마다 다른 약점을 분석해 부족한 부분에 더 많은 문제를 내주는 것이다. 연구진은 50명의 가상 사용자를 만들어 운전면허 시험의 3개 주제에서 서로 다른 점수를 설정했다. 그리고 AI가 만든 맞춤형 문제 배분을 수학 공식으로 계산한 것과 전문가가 배정한 것과 비교했다. 수학 공식은 점수가 낮으면 더 많은 문제를 주는 단순한 방식이고, 전문가는 문제를 전체적으로 이해해서 배정했다.

평균 오차를 계산한 결과, AI 시스템은 수학 공식 기준과 비교해 평균 1.31의 차이를 보였고, 전문가 기준과는 평균 1.81의 차이를 나타냈다. 이는 AI가 '점수가 낮으면 문제를 더 많이' 주는 고정된 공식을 사용할 가능성이 높다는 뜻이다. 하지만 전문가들이 위험 인지 같은 중요한 주제를 점수가 보통이어도 우선적으로 다루는 세밀한 판단은 AI가 따라 하지 못하는 것으로 나타났다.

AI 설명 기능, 모든 평가에서 98% 이상 좋은 평가

연구진이 만든 설명 기능은 두 가지 형태로 나뉜다. 문제별 설명은 중립적이고 정확한 답을 설명하는 것이고, 전체 시험 설명은 틀린 문제를 바탕으로 개인적이고 도움이 되는 내용을 제공한다. 50개 설명을 대상으로 한 평가에서 문제별 설명은 정확성, 개인 맞춤, 관련성 모든 항목에서 AI와 전문가 평가 모두 48개 이상이 '매우 좋음' 평가를 받았다.

전체 설명 평가에서도 정확성 항목에서 AI가 48개, 전문가가 45개의 '매우 좋음'을 기록했고, 개인 맞춤 면에서는 각각 47개와 46개, 긍정적인 면에서는 44개씩을 기록했다. 가중 평균으로 계산하면 문제별 설명은 AI 98.68%, 전문가 98.86%의 성과를 보였고, 전체 설명은 각각 98%, 96.88%를 기록했다. 모든 문제를 틀려서 '0점'을 받은 경우에는 긍정적인 설명을 하기가 어려워 '조금 좋음' 평가를 받았다.

문제 다양성 부족이 한계... AI가 비슷한 문제만 만드는 경향

연구 결과 몇 가지 문제점도 나타났다. 문제가 얼마나 다양한지를 1점(매우 비슷함)부터 5점(완전히 다름)까지로 평가한 결과, AI 평가는 평균 2.95점, 전문가 평가는 2.48점을 기록했다. 전문가들이 더 낮은 점수를 주는 경향을 보여 AI가 만드는 문제의 독창성에 대해 더 까다롭게 본다는 뜻이다.

AI는 엄청나게 많은 데이터를 사용해 답변을 만들기 때문에 여러 소스의 패턴이 섞인 문제를 만드는 특징이 있다. 전문가들은 내용이나 구조의 미세한 차이를 더 잘 알아보며, AI가 만든 문제에서 반복되는 패턴에 대해 더 비판적이다. 연구진은 전문가들의 기대에 맞추려면 AI를 더 세밀하게 훈련시켜야 하며, 주제 간 관계를 이해하는 기능을 추가하면 더 사람다운 판단이 가능할 것이라고 제안했다.

운전면허 다음은 토익? 공무원 시험?... 맞춤형 AI 과외 시대 올까

이번 연구는 단순한 학술 연구를 넘어 AI 교육 시장의 새로운 가능성을 보여주는 중요한 사례로 평가된다. 특히 운전면허라는 표준화된 시험 영역에서 AI의 효과가 입증된 만큼, 토익이나 토플 같은 어학 시험, 공무원 시험, 자격증 시험 등 다른 표준화 시험 분야로의 확산도 예상해 볼 수 있다.

기존 온라인 교육 플랫폼들이 단순히 강의 영상을 제공하는 수준에 머물렀다면, 이번 연구처럼 학습자의 약점을 실시간으로 분석해 맞춤형 문제를 생성하는 기술은 교육의 효율성을 크게 높일 수 있다. 다만 연구에서 드러난 AI의 창의성 부족과 미묘한 판단력 한계는 여전히 해결해야 할 과제다. 특히 수능이나 논술처럼 창의적 사고가 중요한 영역에서는 AI만으로는 한계가 있어 인간 교사와의 협업 모델이 필요할 것으로 보인다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q: AI가 만든 시험 문제를 믿어도 될까요?

A: 연구 결과에 따르면 AI가 만든 문제의 정확도는 매우 높습니다. 100개 문제 평가에서 AI와 전문가 모두 94% 이상이 정확하다고 인정했고, 주제와 맞는지도 높은 점수를 받았습니다.

Q: 개인 맞춤형 학습이 일반 공부보다 어떤 점이 좋은가요?

A: 개인 맞춤형 시스템은 학습자의 약점을 자동으로 찾아서 그 부분에 더 많은 연습 문제를 줍니다. 연구에서 수학 공식과 비슷한 성능을 보여 실력에 맞는 효과적인 학습이 가능함을 보여줬습니다.

Q: AI가 만든 문제의 문제점은 무엇인가요?

A: 현재 AI는 창의성과 다양성 면에서 한계가 있습니다. 전문가들은 AI가 만든 문제의 독창성에 대해 더 까다롭게 평가했고, 주제 간 미묘한 연관성을 파악하는 데도 개선이 필요합니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Generative AI-Enabled Adaptive Learning Platform: How I Can Help You Pass Your Driving Test?

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.