애피어 연구 논문, NeurIPS 채택… AI 에이전트, 도구 사용 넘어 스스로 만드는 법까지 배운다

2026.10.01. 12:04:01

AI 네이티브 AaaS(Agentic AI as a Service) 기업 애피어(Appier)는 최신 연구 논문 ‘거대언어모델 에이전트를 위한 도구 생성과 활용의 공동 최적화(Joint Optimization of Tool Creation and Use for Large Language Model Agents)’가 ‘AI 올림픽’으로 불리는 세계 최고 권위의 AI·머신러닝 학회 NeurIPS에 채택됐다고 밝혔다.

이번 논문은 AI가 도구를 만들고 효과적으로 활용하는 과정을 하나의 학습 루프에서 수행하고, 실제 문제 해결 결과를 바탕으로 도구를 지속적으로 개선하는 강화학습 프레임워크 ‘SMITH(Schema-grounded Multi-task Iterative Tool Honing)’를 제안한다. AI 모델이 도구를 만들 수는 있어도 이를 제대로 활용하는 데 어려움을 겪는다는 에이전틱 AI의 핵심 과제를 해결하기 위한 연구다.

연구 결과, SMITH로 학습한 소규모 모델은 새로운 과제에서도 훨씬 큰 규모의 모델이 만든 것에 필적하는 재사용 가능한 도구를 생성할 수 있는 것으로 나타났다. 이렇게 만들어진 도구는 서로 다른 모델과 과제에서도 함께 활용할 수 있어 반복적인 추론에 필요한 토큰 비용을 크게 줄일 수 있다. 이번 NeurIPS 논문 채택은 AI 에이전트의 효율성을 높이고 멀티 에이전트 협업을 발전시키는 애피어의 연구 역량을 보여주는 동시에, 글로벌 에이전틱 AI 연구를 선도하는 애피어의 입지를 다시 한번 입증했다.

애피어 공동 창업자이자 CEO인 치한 위(Chih-Han Yu) 박사는 “인간은 문제 해결 경험을 도구로 만들어 활용함으로써 매번 처음부터 다시 시작할 필요가 없도록 해왔다. 이제 AI 에이전트도 같은 방식으로 진화하고 있다”며 “이번 연구는 AI 에이전트가 스스로 도구를 만들고 개선하는 것은 물론, 효과가 확인된 도구를 다양한 규모의 모델이 함께 활용할 수 있음을 보여준다. 이를 통해 멀티 에이전트 협업을 더욱 효율적이고 확장 가능하게 만들 수 있다”고 말했다. 이어 “이번 NeurIPS 논문 채택은 애피어의 선도적인 연구와 혁신을 다시 한번 인정받은 결과다. 앞으로도 에이전틱 AI의 실제 적용을 확대해 기업이 측정 가능한 성과를 창출할 수 있도록 지원할 것”이라고 덧붙였다.

에이전틱 AI가 기업의 업무를 자율적으로 처리하는 영역이 확대되면서 적절한 외부 도구를 선택하고 호출하는 능력은 실제 환경에서 AI를 활용하기 위한 핵심 요소가 되고 있다. 그러나 많은 AI 시스템은 여전히 엔지니어가 API를 직접 개발하거나 특정 도구를 사전에 설정하는 방식에 의존하고 있어 데이터 소스나 과제, 비즈니스 요구사항이 바뀔 때마다 도구를 다시 구축해야 한다.

AI가 스스로 도구를 생성할 수 있는 경우에도 기존 방식은 대부분 도구 생성과 사용을 서로 다른 모델에 맡긴다. 그 결과 도구를 만드는 모델은 실제 성능에 대한 피드백을 충분히 받기 어려워 도구에 대한 설명이 명확한지, 안정적으로 작동하는지, 다른 모델이 이를 올바르게 호출할 수 있는지 파악하기 어렵다는 한계가 있다.

SMITH는 이 두 가지 역량을 하나의 학습 루프에 통합해 AI가 좋은 도구를 만드는 능력과 이를 효과적으로 활용하는 능력을 동시에 학습하도록 한다. 도구에 대한 설명이 모호하거나 파라미터 설계가 적절하지 않은 경우, 또는 실행에 실패하면 그 결과가 다시 모델에 피드백된다. ‘생성–사용–검증–개선’으로 이어지는 순환 구조를 통해 도구의 품질을 높여가는 방식이다. 연구 결과, 도구 생성과 사용을 함께 학습하는 방식이 각각 별도로 학습하는 방식보다 더 나은 성능을 보였다.

애피어의 치에옌 린(Chieh-Yen Lin) 리서치 사이언티스트는 “SMITH가 모델에 도구 사용법을 학습시킬 때 모델은 내부 코드가 아닌 도구에 대한 설명과 파라미터 정보만을 참조한다”며 “따라서 설명이 얼마나 명확한지, 해당 도구를 올바르게 호출할 수 있는지가 학습 과정에서 직접적인 피드백으로 작용한다”고 설명했다. 이어 “실험을 통해 다른 모델들도 이러한 도구를 활용하면 문제를 더욱 효과적으로 해결할 수 있음을 확인했다”며 “앞으로는 환경과 지속적으로 상호작용하며 더욱 다양한 과제를 수행할 수 있는 모델을 구축하는 것이 목표”라고 말했다.

SMITH는 쉬운 문제에서 어려운 문제로 단계적으로 학습한다. AI는 먼저 4개의 간단한 예제를 통해 문제 해결 방법을 학습하고 이를 바탕으로 도구를 생성한다. 이후 학습 과정에서 접하지 않은 16개의 더 어려운 문제를 통해 새로운 상황에도 적용할 수 있는지 검증한다.

새로운 문제를 성공적으로 해결한 도구만 선별해 여러 AI 에이전트가 사용할 수 있는 공유 도구 라이브러리에 추가한다. 고품질 도구가 축적되면 더 나은 도구가 기존의 성능이 낮은 도구를 대체한다. 이를 통해 에이전트는 과제마다 새로운 도구를 처음부터 만들 필요 없이, 효과가 확인된 문제 해결 방법을 도구로 만들어 재사용할 수 있다.

이번 연구의 주요 결과는 세 가지다. 첫째, 소규모 모델도 도구 생성에서 대규모 모델을 능가할 수 있다. SMITH로 학습한 약 40억 개 파라미터 규모의 모델이 생성한 도구는 학습 과정에서 접하지 않은 과제에서 이번 연구에서 비교한 다른 모든 방법보다 높은 성능을 기록했다. 약 300억 개 파라미터 규모의 모델이 필요할 때마다 즉석에서 도구를 생성하는 베이스라인보다도 우수한 결과를 보였다. 이는 효과적인 도구 생성이 반드시 더 큰 규모의 모델에 의존할 필요가 없음을 보여준다.

둘째, 검증된 도구는 모델 규모와 관계없이 활용할 수 있다. 소규모 모델이 만든 도구는 약 3억 5,000만 개 파라미터 규모의 경량 모델이 사용했을 때도 새로운 과제를 효과적으로 처리했다. 같은 도구를 더 큰 모델에 적용했을 때도 성능이 향상돼 에이전트 간 역할을 보다 유연하게 분담할 수 있는 것으로 나타났다.

셋째, 반복적인 추론 과정을 재사용 가능한 도구로 전환할 수 있다. SMITH는 반복적으로 수행되는 추론을 직접 호출할 수 있는 도구로 전환한다. 실험 결과, 기존의 단계별 추론 방식에서 평균 3,206토큰이었던 출력량이 약 100토큰으로 줄어 약 32배의 효율 향상을 기록했다. 유사한 문제를 접할 때마다 전체 추론 과정을 처음부터 반복할 필요가 없어 과제 수행 성능을 유지하면서 추론 속도를 높이고 컴퓨팅 비용을 낮출 수 있다.

이번 연구는 기업용 에이전틱 AI에 새로운 이정표를 제시한다. 재무 지표 변환과 데이터 처리부터 보고서 조회, 규정 확인, 고객 문의 분류에 이르기까지 기업의 일상 업무에는 반복적인 작업이 많다. AI는 이처럼 개별적으로 흩어진 문제 해결 방법을 여러 에이전트가 활용할 수 있는 도구로 전환해 반복적인 개발과 추론에 드는 비용을 줄일 수 있다.

광고·마케팅 분야에서는 고객 데이터, 개인화, 고객 서비스, 광고 구매를 담당하는 에이전트들이 이러한 도구와 일관된 비즈니스 규칙을 활용해 보다 원활하게 협업할 수 있다. 새로운 시장에 진출하거나 신규 광고주를 온보딩하는 경우, 또는 제한된 데이터로 시작하는 경우에도 기업은 과거의 성공 경험을 검증 가능하고 확장 가능한 AI 역량으로 전환해 에이전트가 새로운 과제에 더욱 빠르게 적응하도록 할 수 있다.

애피어는 앞으로도 선도적인 연구를 통해 에이전틱 AI를 발전시키고, AI가 기업의 장기적인 성장을 이끄는 핵심 엔진으로 자리 잡을 수 있도록 지원할 계획이다.

자세한 내용은 애피어에서 확인할 수 있다.

이미지 출처: 애피어

AI Matters 뉴스레터 구독하기