챗GPT에게 “숫자 목록에서 1부터 10 사이 값을 빼고 정리해줘”라고 지시하면 코드가 곧바로 생성된다. 그렇다면 이러한 방식을 45분만 배우면 누구나 능숙해질까. 미국 노스캐롤라이나주립대(North Carolina State University) 연구진이 공대생 55명을 대상으로 진행한 실험의 결과는 예상과 달랐다. 수업을 들은 학생들의 프롬프트 자신감은 크게 상승했으나, 실제로 문제를 해결하는 능력은 소폭 향상되는 데 그쳤다.

이 연구는 코드를 직접 작성하지 않고 자연어로 지시해 프로그램을 만드는 프롬프트 프로그래밍(prompt-based programming)을 45분짜리 짧은 수업으로도 가르칠 수 있는지, 그 효과와 필요한 시간을 정밀하게 측정한 실험이다. 인공지능에게 업무를 맡기는 일이 일상이 된 오늘날, 많은 사용자가 겪는 ‘왜 지시한 대로 결과가 나오지 않는가’라는 문제의 원인을 짚어준다.

자연어로 코드를 만드는 시대, 빗나가는 결과의 원인

프롬프트 프로그래밍이란 프로그래밍 언어를 직접 입력하는 대신 자연어로 원하는 작업을 설명해 챗GPT 같은 거대언어모델(LLM)에게 코드 작성을 맡기는 방식을 말한다. 노스캐롤라이나주립대 키스 트란(Keith Tran) 연구팀의 논문에 따르면, 이 방식은 컴퓨터공학을 전공하지 않은 사람도 프로그래밍에 진입할 수 있게 하지만 그것만으로 문제가 해결되지는 않는다.

연구진은 프로그래밍 경험이 적은 사용자일수록 자신이 원하는 바를 인공지능에게 명확히 전달하지 못한다는 점을 지적한다. 요청이 모호하거나, 필요한 조건을 빠뜨리거나, 결과가 틀렸을 때 어떻게 수정해 지시해야 할지 파악하지 못하는 경우가 대부분이다. 인공지능에게 모호하게 요청했다가 의도와 전혀 다른 결과를 받는 상황이 이러한 어려움을 단적으로 보여준다.

노스캐롤라이나주립대의 45분 수업 무작위 대조 실험 설계

연구진은 프롬프트 프로그래밍을 45분 수업 하나로 가르칠 수 있는지 확인하기 위해 주로 1학년으로 구성된 공대생 55명을 두 집단으로 나누어 무작위 대조 실험을 진행했다. 한 집단(28명)은 인공지능에게 지시하는 법을 배우는 프롬프트 수업을, 다른 집단(27명)은 코드를 한 줄씩 읽어가며 해석하는 코드 트레이싱(code tracing) 수업을 들었다. 두 수업은 모두 45분으로 길이가 같았고, 약 25분의 강의와 20분의 실습으로 구성이 동일했으며, 필터링과 조건 판단, 예외 상황 처리라는 같은 개념을 다루었다.

차이는 인공지능에게 지시하는 법을 가르쳤는지 여부 하나뿐이었다. 이렇게 조건을 맞춘 이유는 프롬프트 수업만의 순수한 효과를 가려내기 위해서다. 학생들은 수업 전후로 Promptly라는 플랫폼에서 문제 8개를 풀었다. 이 문제는 입력과 출력 예시만 보고 규칙을 파악한 뒤 인공지능에게 지시해 정답 코드를 만들어내는 방식이어서, 복사해 붙여넣는 편법이 통하지 않는다.

크게 오른 자신감과 소폭 오른 실력, 갈라진 두 결과

실험 결과 프롬프트 수업을 들은 학생들은 자신감과 실력에서 뚜렷하게 다른 폭으로 성장했다. 프롬프트 자기효능감(prompting self-efficacy), 즉 ‘인공지능에게 코딩을 잘 시킬 수 있다’는 스스로에 대한 믿음은 실험군에서 35.4%포인트 상승한 반면 대조군은 21.9%포인트 상승에 그쳤으며, 이 차이는 통계적으로 유의미한 수준이었다(p=0.029).

그림1. 수업 전후 프롬프트 자기효능감 변화, 실험군과 대조군 비교 (출처: Tran 외, arXiv:2606.30547, Figure 2)

반면 실제 문제 풀이 점수는 실험군이 10.8%포인트, 대조군이 1.1%포인트 올라 격차가 약 열 배에 달했지만, 통계적으로는 우연일 가능성을 완전히 배제하지 못하는 경계선(p=0.056)에 머물렀다. 이를 수치로 환산하면 실험군은 8문제 중 평균 0.87문제를 더 맞힌 수준이다. 자신감은 큰 폭으로 상승했으나 실력은 한 문제도 채 더 풀지 못하는 수준으로만 향상된 것이다. ‘이제 할 수 있겠다’는 주관적 자신감과 실제 문제 해결 능력 사이에 뚜렷한 간극이 나타난 결과다.

자신감이 실력을 앞선 이유, 구상의 간극

이 간극을 연구진은 구상의 간극(Gulf of Envisioning)이라는 개념으로 설명한다. 구상의 간극이란 사람이 머릿속에 그린 목표와 그것을 인공지능이 이해할 수 있는 지시로 옮기는 과정 사이에 존재하는 인지적 거리를 말한다. 연구진은 이 거리를 좁히기 위해 학생들에게 프롬프트를 구성하는 정해진 틀을 가르쳤다. “파이썬 함수를 만들어줘. 입력은 [입력과 자료형], 출력은 [출력과 자료형]이고, [입력을 출력으로 바꾸는 방법]을 수행한다. 예시: [입력 예시와 기대 출력]”과 같은 빈칸 채우기 형태다.

45분은 이 틀을 소개하기에는 충분했으나 학생들이 충분히 익혀 자유롭게 활용하기에는 부족했다는 것이 연구진의 해석이다. 겉으로 드러나는 문장 구조는 익혔으나, 정확한 계산 논리를 언어로 옮기는 능력까지는 내면화하지 못했을 가능성이 있다. 자신감이 실력보다 앞서 상승한 배경에는, 틀을 익혔다는 안도감이 실제 숙련도보다 빠르게 형성된 점이 자리한다.

짧은 수업의 한계와 남는 과제

이 연구가 전하는 함의는 프롬프트를 능숙하게 다루는 능력이 단시간에 형성되지 않는다는 점이다. 연구진은 45분 수업이 의미 있는 변화를 만들 수 있음을 확인했으나, 동시에 그 효과가 크지 않았고 숙달에 이르려면 꾸준한 연습이 필요하다는 점을 분명히 밝혔다. 프롬프트 수업이 기존 코딩 교육을 대체하는 것이 아니라 보완하는 통로가 될 수 있다는 점도 주목할 만하다. 문법이나 제어문에 부담을 느끼는 학습자에게는 구조화된 지시문을 작성하는 연습이 프로그래밍으로 진입하는 더 낮은 문턱이 될 수 있다는 것이다.

다만 이번 실험은 짧고 잘 정리된 문제에 한정된 결과인 만큼, 여러 단계를 오가는 실제 업무 수준의 복잡한 작업에도 동일하게 적용될지는 더 지켜볼 필요가 있다. 인공지능에게 업무를 맡기는 일이 점차 보편화되는 가운데, 자연어 한마디로 결과를 얻는 편리함 이면에 여전히 학습과 연습이 필요한 기술이 남아 있다는 점은 시사하는 바가 크다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 프롬프트 프로그래밍이 정확히 무엇인가요?
프로그래밍 언어를 직접 입력하는 대신, 일상적인 말로 원하는 기능을 설명해 챗GPT 같은 인공지능에게 코드를 만들게 하는 방식입니다. 예를 들어 “숫자 목록에서 짝수만 골라내는 코드를 만들어줘”라고 요청하면 인공지능이 해당 코드를 작성해 줍니다.

Q2. 인공지능에게 맡기기만 하면 되는데 왜 따로 배워야 하나요?
연구에 따르면 프로그래밍 경험이 적을수록 원하는 바를 인공지능에게 명확히 전달하지 못해 엉뚱한 결과를 받는 경우가 많습니다. 입력과 출력, 처리 방법을 구체적으로 짚어주는 방법을 익히면 원하는 결과를 훨씬 정확하게 얻을 수 있습니다.

Q3. 45분만 배우면 인공지능 코딩을 잘하게 되나요?
짧은 수업만으로도 자신감과 실력이 어느 정도 오르지만, 실제 실력 향상 폭은 크지 않았습니다. 연구진은 능숙해지려면 꾸준한 연습이 더 필요하다고 밝혔습니다. 45분 수업은 완성이 아니라 출발점에 가깝습니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: Teaching Prompt-Based Programming with LLMs: A 45-Minute Lesson with Guided Practice for End-User Programmers
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.