컴퓨터 프로그래밍을 도와주는 AI 도구들이 폭발적으로 늘어나고 있다. 싱가포르경영대학교(Singapore Management University)와 앨버타대학교(University of Alberta), 동남대학교(Southeast University) 공동 연구팀이 비주얼 스튜디오 코드(Visual Studio Code)라는 프로그래밍 도구 상점에서 조사한 결과, 전체 66,053개 도구 중 1,085개가 AI를 사용하는 코딩 도우미인 것으로 나타났다.

이는 전체의 1.64%에 불과하지만, 놀라운 사실은 이들 AI 도우미의 90% 이상이 최근 2년 안에 만들어졌다는 점이다. 2023년에 44.6%, 2024년에 45.6%가 새로 등장했다. 반면 일반 도구들은 같은 기간 각각 17.8%와 18.2%만 새로 나왔다.

연구팀은 GPT-4o라는 AI를 활용해 이런 도구들을 찾아냈는데, 96% 이상의 정확도를 보였다. 이는 개발자들이 유명한 GitHub Copilot 외에도 다양한 AI 코딩 도구를 찾고 있다는 뜻이다.

10개 회사가 시장 86% 독식, 승자독식 구조 심화

AI 코딩 도우미 시장에서 극심한 쏠림 현상이 나타났다. 상위 10개 AI 도구가 전체 사용자의 86%를 차지하고 있다. 상위 30개 도구가 전체 사용자 평가의 75%를 받는 등 몇몇 인기 도구로 사용자가 몰리고 있다.

재미있게도 AI 코딩 도우미는 일반 도구보다 훨씬 인기가 높다. AI 도구의 평균 설치 수는 124,000개로 일반 도구 57,000개의 두 배가 넘는다. 사용자 평가도 AI 도구는 평균 7.48개, 일반 도구는 1.76개로 4배 이상 차이가 난다.

연구팀은 "AI 도구가 적은 비중임에도 개발자들의 관심이 매우 높다"며 "AI 기술에 대한 기대가 크다는 것을 보여준다"고 말했다.

정확한 답변은 좋지만 앞뒤 맥락 파악 못해 짜증

32개 인기 AI 코딩 도우미에 대한 361개 사용자 후기를 분석한 결과, 개발자들의 복잡한 감정이 드러났다. 가장 좋은 평가를 받은 부분은 정확한 코드 제안이었다. 39명이 좋다고 했다. 한 사용자는 "키보드 사용이 80% 줄었다. 마법 같다. 내 마음을 읽는 것 같다"고 칭찬했다.

하지만 동시에 많은 개발자가 도움이 되지 않는 제안에 대해 17건의 불만을 표했다. 특히 같은 내용을 반복하거나 불완전한 답변에 대한 불만이 8건 나왔다. 한 사용자는 "계속 화면에 글자를 토해내는데 90% 이상이 똑같은 내용"이라고 비판했다.

가장 큰 문제는 상황 파악 능력이다. AI는 정보가 주어지면 코드를 잘 이해하지만, 관련된 정보를 찾거나 기억하는 데 어려움을 겪는다. 코드 이해 관련 후기의 73%가 좋다고 했지만, 상황 파악 관련 후기는 38%만 좋다고 했다.

초보자는 "최고", 고수는 "별로" 엇갈린 반응

경험에 따른 반응 차이도 뚜렷했다. 초보 개발자 15명 중 14명이 AI 도우미가 도움 된다고 했다. 한 초보자는 "프로그래밍을 처음 배우는데 프로젝트 만드는 데 정말 도움이 많이 된다"고 말했다. 반면 숙련된 개발자 5명 중 2명은 별로라고 했다. "정말로 코딩을 잘 아는 사람이라면 짜증 나는 일이 많을 것"이라는 혹독한 평가도 나왔다.

일 처리 속도에 대해서는 90%가 좋다고 했다. 하지만 개발자들은 단순 반복 작업이 줄어들고 일하는 방식이 간단해진 점을 더 높이 샀다. 특히 자신에게 맞게 설정할 수 있는 기능이 일 처리 속도 향상에 중요하다는 점이 새로 밝혀졌다.

복잡한 설정에 포기하는 사용자들, 컴퓨터 성능 잡아먹어 불만

사용하기 쉬운지가 두 번째로 많이 언급된 문제였다. 특히 처음 시작할 때의 어려움이 큰 문제로 지적됐다. 자신의 컴퓨터에 직접 설치하는 타입의 AI 도구는 설정이 복잡해서 사용자들이 포기하는 경우가 많았다. 한 사용자는 "설정이 너무 복잡하다. 더 쉬워질 때까지 기다리겠다"며 사용을 중단했다.

화면 조작 관련 문제도 심각했다. 특히 포커스 기능 오작동으로 코드 입력창에 쓴 글이 채팅창으로 들어가는 문제가 보고됐다. 한 사용자는 "포커스가 제대로 안 돼서 채팅을 못 쓴다. 짜증 난다"고 했다.

컴퓨터 성능 면에서는 답변 속도는 만족스러웠지만(17건 중 14건이 좋다고 함), 컴퓨터 자원을 너무 많이 쓴다는 불만이 계속됐다. 관련 후기의 78%가 불만이었고, "CPU 50% 이상, 메모리 1GB 이상 사용한다"는 구체적 불만도 나왔다.

FAQ

Q: AI 코딩 도우미가 정말 일하는 속도를 빠르게 해주나요?

A: 연구 결과 일 처리 속도 관련 후기의 90%가 좋다고 했습니다. 특히 같은 작업 반복을 줄이고 일하는 방식을 간단하게 만드는 데 도움이 되지만, 초보자들이 고수보다 더 큰 도움을 받는 것으로 나타났습니다.

Q: AI 코딩 도우미 사용할 때 가장 큰 문제는 뭔가요?

A: 상황 파악 능력 부족이 가장 큰 문제입니다. AI가 주어진 정보는 잘 이해하지만 프로젝트 전체 상황을 파악하거나 이전 대화를 기억하는 데 어려움을 겪어 부정확한 답변으로 이어집니다.

Q: AI 코딩 도우미 시장은 지금 어떤 상황인가요?

A: 1,085개의 AI 코딩 도우미가 발견됐고, 90% 이상이 최근 2년 안에 만들어졌습니다. 하지만 상위 10개 도구가 시장의 86%를 차지하는 심한 독식 현상을 보이고 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: "My productivity is boosted, but ..." Demystifying Users' Perception on AI Coding Assistants

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.