AI 프로그램이 숙련된 개발자들을 오히려 19% 더 느리게 만든다는 놀라운 연구 결과가 나왔다. 미국 연구기관 METR이 실시한 이 실험에서는 프로그래밍 경험이 풍부한 16명의 개발자들이 246개의 실제 코딩 작업을 해봤다. 가장 충격적인 점은 개발자들 스스로도 AI의 효과를 완전히 착각하고 있었다는 것이다.

작업을 시작하기 전 개발자들은 "AI를 쓰면 24% 더 빨라질 것"이라고 예상했다. 실험이 끝난 후에도 "20% 더 빨라진 것 같다"고 답했다. 하지만 실제로는 AI를 쓸 때가 19% 더 오래 걸렸다. 경제학자들과 AI 전문가들도 마찬가지로 "AI가 40% 가까이 빨라지게 해줄 것"이라고 잘못 예측했다.

5년 차 베테랑 개발자들도 착각한 AI의 진실

이번 실험에 참여한 개발자들은 평균 5년 동안 같은 프로젝트에서 일해온 베테랑들이다. 이들은 각자 1,500번 넘게 코드를 수정한 경험을 가진 진짜 전문가들이었다. 실험에 사용된 프로그래밍 프로젝트들도 23,000명이 '좋아요'를 누른 유명한 오픈소스 프로젝트들로, 코드만 110만 줄이 넘는 대형 프로젝트들이었다.

개발자들은 주로 '커서 프로(Cursor Pro)'라는 AI 코딩 도구와 '클로드(Claude)'라는 AI를 사용했다. 흥미롭게도 참가자의 93%가 이전에 챗 GPT 같은 AI를 써본 적이 있었지만, 커서라는 전용 프로그래밍 도구를 써본 사람은 44%에 불과했다.

AI 사용하면 실제로 시간이 어디에 쓰일까

연구진은 개발자들이 실제로 어떻게 시간을 보내는지 알아보기 위해 143시간 분량의 화면 녹화를 꼼꼼히 분석했다. 결과는 놀라웠다. AI를 사용할 때 개발자들은 정작 코딩하는 시간과 자료를 찾는 시간은 줄어들었다. 대신 AI가 만든 코드를 검토하고, AI에게 무엇을 할지 설명하고, AI가 답을 만들어낼 때까지 기다리는 시간이 늘어났다.

특히 놀라운 점은 개발자들이 전체 시간의 9%를 AI가 만든 코드를 고치고 다듬는 데 썼다는 것이다. 더 심각한 문제는 개발자들이 AI가 제안한 코드 중 절반도 안 되는 44%만 실제로 사용했다는 점이다. 나머지는 너무 엉망이라서 버려야 했다. 실험에 참여한 개발자 중 56%는 "AI 코드를 크게 고쳐야 했다"고 답했고, 100% 모든 개발자가 "AI 코드를 손봐야 했다"고 답했다.

AI가 개발자를 느리게 만드는 5가지 이유

연구진은 왜 AI가 개발자들을 느리게 만드는지 20가지 가능성을 조사했다. 그중 5가지가 실제 원인으로 밝혀졌다.

첫 번째는 개발자들이 AI를 과신한다는 점이다. 실제로는 느려지고 있는데도 "AI가 도움이 된다"고 착각해서 계속 사용했다.

두 번째는 이미 전문가인 개발자들에게는 AI가 별로 도움이 안 된다는 것이다. 자신이 잘 아는 일에는 AI보다 자기가 더 빠르고 정확했다.

세 번째는 복잡하고 큰 프로젝트에서는 AI 성능이 떨어진다는 점이다. 코드가 100만 줄이 넘는 대형 프로젝트에서는 AI가 헷갈려했다.

네 번째는 AI가 만든 코드가 믿을 만하지 못해서 확인하고 고치는 시간이 너무 오래 걸렸다는 것이다.

다섯 번째는 AI가 프로젝트의 숨겨진 규칙이나 관습을 모르기 때문에 엉뚱한 제안을 했다는 점이다.

FAQ

Q: 이 연구 결과가 모든 상황에서 AI가 쓸모없다는 뜻인가요?

A: 아닙니다. 이번 연구는 경험 많은 개발자들이 자신이 잘 아는 프로젝트에서 작업할 때의 결과입니다. 새로운 프로그래밍 언어를 배우거나 처음 해보는 프로젝트에서는 AI가 여전히 도움이 될 수 있습니다.

Q: 왜 개발자들은 실제로는 느려지면서도 AI가 도움이 된다고 느꼈나요?

A: 사람들이 새로운 기술의 효과를 과대평가하는 심리적 특성 때문입니다. 또한 AI를 사용하면 머리를 덜 써도 되는 것처럼 느껴져서 더 쉽다고 착각했지만, 실제로는 더 오래 걸렸습니다.

Q: 앞으로 더 좋아진 AI도 같은 문제를 보일까요?

A: 연구진은 더 정확하고 빠른 미래의 AI는 다른 결과를 보일 수 있다고 말했습니다. 특히 더 똑똑해지고 각 프로젝트에 맞게 훈련된 AI라면 실제로 개발자를 빠르게 만들어줄 가능성이 있습니다.

해당 기사에 인용된 논문 원문은 METR에서 확인 가능하다.

논문 명: Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.