챗GPT처럼 스스로 판단하고 행동하는 AI를 만드는 개발 도구 시장이 빠르게 커지면서, 개발자들이 한 가지 도구만으로는 원하는 AI를 만들기 어렵다는 사실이 드러났다. 중국 중산대학교 연구팀이 오픈소스 개발 플랫폼 깃허브(GitHub)에 올라온 프로젝트 1,575개와 개발자 토론 8,710건을 분석한 결과, 인기 있는 프로젝트 중 96%가 2개 이상의 개발 도구를 함께 사용하는 것으로 나타났다. 이는 현재 시장에 나온 100개가 넘는 AI 개발 도구 중 어떤 것도 혼자서는 복잡한 작업을 다 처리할 수 없다는 뜻이다.

AI 개발 도구 100개 넘게 쏟아졌지만, 뭘 써야 할지 모르겠다

해당 연구 논문에 따르면, 2022년부터 AI 에이전트 개발 도구는 폭발적으로 늘어났다. AI 에이전트 개발 도구란 대규모 언어모델을 활용해 스스로 생각하고 행동하는 프로그램을 만들 때 필요한 기본 부품들을 모아놓은 것이다. 마치 레고 블록처럼 미리 만들어진 부품을 조립해서 원하는 AI를 더 쉽게 만들 수 있게 해준다. 하지만 도구가 너무 많이 늘어나면서 개발자의 80% 이상이 자기에게 맞는 도구를 찾기 어렵다고 답했다.

연구팀은 주제 태그 분석과 직접 검증을 통해 10개의 주요 도구를 찾아냈다. 랭체인(LangChain), 랭그래프(LangGraph), 오토젠(AutoGen), 크루AI(CrewAI), 메타GPT(MetaGPT), 라마인덱스(LlamaIndex), 스웜(Swarm), 베이비AGI(BabyAGI), 카멜(Camel), 시맨틱커널(Semantic Kernel)이 바로 그것이다. 이 도구들은 하는 일에 따라 4가지로 나뉜다. 기본 작업 관리, 여러 AI 협업, 데이터 처리, 실험용 등이다.

랭체인은 11만 9천 개의 '좋아요'로 가장 인기가 많았고 실제로 105개 프로젝트에서 사용됐다. 반면 메타GPT는 5만 9,200개나 '좋아요'를 받았지만 실제로는 단 2개 프로젝트에서만 쓰였다. 흥미로운 점은 인기와 실제 사용률이 다르다는 것이다. 랭그래프는 9,600개의 '좋아요'만 받았지만 26개 프로젝트에서 사용돼 실제 사용률이 두 번째로 높았다. 연구팀은 개발자들이 도구를 고를 때 깃허브 '좋아요' 같은 단기 인기보다는, 얼마나 오래 관리되고 있는지, 생태계가 얼마나 안정적인지를 먼저 봐야 한다고 강조했다.

랭체인+라마인덱스, 오토젠+랭체인... 섞어 쓰는 게 정석

연구팀이 '좋아요'를 많이 받은 상위 25% 프로젝트를 살펴본 결과, 96%가 2개 이상의 서로 다른 개발 도구를 함께 사용했다. 이는 도구 하나만으로는 실제 작업의 복잡한 요구를 충족할 수 없다는 걸 보여준다.

가장 많이 쓰이는 조합은 두 가지다. 첫째는 작업 관리 도구와 데이터 처리 도구를 함께 쓰는 것이다. 대표적인 예가 랭체인과 라마인덱스다. 랭체인은 여러 작업을 순서대로 처리하는 걸 잘하고, 라마인덱스는 필요한 정보를 빠르게 찾아내는 걸 잘한다. 둘째는 여러 AI 협업 도구와 작업 관리 도구를 함께 쓰는 것이다. 오토젠과 랭체인의 조합이 대표적이다. 랭체인은 거의 모든 주요 AI 언어모델(OpenAI, Anthropic, Hugging Face 등)과 연결할 수 있어서, 오토젠과 함께 쓰면 여러 AI 모델을 바꿔가며 쓸 수 있다.

작업이 안 끝나는 문제 25.6%, 버전 안 맞는 문제 23.5%

연구팀은 소프트웨어 개발 전 과정에서 개발자들이 겪는 어려움을 4가지로 정리했다. 논리 문제, 도구 연결 문제, 성능 문제, 버전 불일치 문제다.

논리 문제는 전체의 3분의 1 이상을 차지한다. 특히 작업이 제대로 끝나지 않는 문제가 25.6%나 된다. 작업을 멈추는 장치가 없어서 AI가 계속 같은 일을 반복한다. 약 8%의 경우 AI가 자기 자신이나 다른 도구를 계속 반복해서 호출하는 '무한 루프'에 빠진다. 이런 문제의 72%는 AI와 외부 도구가 주고받는 과정에서 생긴다. 또한 메시지 관리가 안 돼서 같은 작업을 여러 번 하는 경우가 9.9%다.

도구 연결 문제는 14%를 차지한다. 다른 프로그램과 연결하고 외부 서비스를 사용할 때 연결 속도 제한, 권한 오류, 필요한 프로그램 부품이 없는 것 같은 문제가 생긴다. 근본 원인은 표준화된 연결 방식이 없고 서로 다른 도구끼리 호환이 안 되기 때문이다.

성능 문제는 16.03%를 차지하며, 주로 메모리 관리와 응답 속도가 느린 것에서 생긴다. 대화가 20번 이상 오가면 일부 도구에서 응답이 끊어진다. 여러 작업이 동시에 같은 정보를 찾으려 하면 저장된 데이터가 사라지기도 한다. 정보를 찾아서 답변을 만드는 AI의 평균 처리 시간은 질문당 3.2~5.6초로, 바로 답변만 만드는 방식보다 약 1.8배 느리다.

버전 불일치 문제는 23.5%를 차지한다. AI 시스템은 빠르게 변하는 여러 부품으로 이뤄져 있어서, 한 부품만 업데이트돼도 전체가 고장 나거나 멈출 수 있다. 대표적으로 랭체인이 Pydantic이라는 부품을 버전 1에서 버전 2로 바꾸는 과정에서 대규모 오류가 발생했다.

랭체인·오토젠은 빠른 시제품 제작에 강하지만, 모두 성능은 약해

연구팀은 5가지 기준으로 10개 도구를 비교했다. 배우기 쉬운지, 개발 속도가 빠른지, 기능이 잘 정리돼 있는지, 성능이 좋은지, 유지보수가 쉬운지를 평가했다.

배우기 쉬운 정도에서는 랭체인과 크루AI가 초보자에게 좋다. 랭체인은 설명이 명확하고 200개 이상의 실습 예제를 제공한다. 반면 베이비AGI, 카멜, 스웜 같은 도구들은 배우기 어렵다.

개발 속도 면에서는 오토젠과 랭체인이 빠른 시제품 제작에 강점을 보인다. 개발자 78% 이상이 이 두 도구가 빠른 검증을 가능하게 한다고 답했다. 하지만 랭체인은 구조가 복잡해서 개발자의 42%가 어려움을 느꼈고, 오토젠은 31%의 프로젝트에서 사용자가 만든 도구를 연결할 때 문제가 생겼다.

기능 정리 수준에서는 오토젠과 랭체인이 작업을 잘게 나누고 여러 AI가 협업하는 데 뛰어나다. 하지만 많은 작업이 동시에 일어날 때는 문제가 생긴다.

성능 최적화는 모든 도구의 공통 약점이다. 시맨틱커널, 라마인덱스, 랭체인, 오토젠 모두 데이터를 임시로 저장하는 기능이 부족하거나, 병렬 처리가 약하거나, 메모리를 너무 많이 쓰는 문제가 있다.

유지보수 면에서는 오토젠과 랭체인이 가장 복잡하다. 버전을 업그레이드할 때 기존 코드를 많이 고쳐야 하고, 다른 부품과 충돌이 자주 생긴다.

FAQ ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. AI 에이전트 개발 도구가 뭔가요?

A: 챗GPT 같은 AI를 만들 때 필요한 기본 부품을 모아놓은 소프트웨어입니다. 마치 레고 블록처럼 미리 만들어진 부품을 조립해서 원하는 AI를 더 쉽게 만들 수 있게 도와줍니다.

Q2. 왜 개발자들은 여러 도구를 함께 쓰나요?

A: 도구 하나만으로는 복잡한 작업을 다 처리할 수 없기 때문입니다. 인기 프로젝트의 96%가 2개 이상의 도구를 섞어 씁니다. 랭체인은 작업 관리를 잘하고, 라마인덱스는 정보 검색을 잘해서, 둘을 함께 쓰면 서로 부족한 부분을 채워줍니다.

Q3. AI 개발할 때 가장 큰 어려움이 뭔가요?

A: 작업이 안 끝나고 계속 반복되는 문제(25.6%), 버전이 안 맞는 문제(23.5%), 성능 문제(16%), 도구 연결 문제(14%) 순입니다. 특히 AI가 무한 루프에 빠지는 문제와 도구 버전이 바뀌면서 기존 코드가 안 돌아가는 문제가 큽니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: An Empirical Study of Agent Developer Practices in AI Agent Frameworks

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.