R&D-Agent: Automating Data-Driven AI Solution Building
Through LLM-Powered Automated Research, Development, and Evolution

연구자 AI + 개발자 AI = 완벽한 팀워크, o1과 GPT-4.1 조합으로 효율성 극대화

데이터 사이언스 분야가 급속도로 발전하면서 AI와 머신러닝의 복잡성이 증가했지만, 전문가 수준의 성능을 내는 자동화 솔루션은 여전히 부족한 상황이다. 마이크로소프트 연구진은 이러한 격차를 해소하기 위해 반복적 탐색과 학습이 가능한 R&D-Agent 프레임워크를 개발했다. 마이크로소프트 연구진이 발표한 논문에 따르면, R&D-Agent는 기존 AI 에이전트와 차별화되는 핵심 설계 원칙을 채택했다. 이 프레임워크는 '연구자(Researcher)' 에이전트와 '개발자(Developer)' 에이전트로 역할을 명확히 구분하여 각각의 전문성을 극대화한다. 연구자 에이전트는 성능 피드백을 분석해 새로운 아이디어를 생성하는 탐색 과정에 집중하며, 개발자 에이전트는 실행 오류 정보를 활용해 솔루션 구현을 반복적으로 개선한다.

이러한 역할 분담은 실제 데이터 사이언스 팀의 업무 구조를 모방한 것으로, 각 에이전트가 특정 작업에 최적화된 대형언어모델(Large Language Model, LLM)을 사용할 수 있게 한다. 예를 들어, o1과 같은 모델은 추론과 창의적 아이디어 생성에 뛰어나며, GPT-4.1은 지시 사항 수행과 솔루션 구현에 탁월하다. 이러한 특성을 활용해 각 에이전트에 최적의 모델을 할당함으로써 전체 시스템의 효율성을 크게 향상시켰다.

기존 AI 대비 7%포인트 향상, MLE-Bench 24% 성공률로 업계 1위 달성

R&D-Agent는 머신러닝 엔지니어링 에이전트 평가 표준인 MLE-Bench에서 기존 최고 성능 에이전트인 AIDE를 크게 앞서는 결과를 보여줬다. 전체 과제에서 R&D-Agent는 24.00%의 성공률을 달성해 AIDE의 16.9%를 7.1%포인트 상회했다. 특히 난이도별 성능에서 두드러진 차이를 보였는데, 저난이도(Low/Lite) 과제에서는 48.18%로 AIDE의 34.3%보다 13.88%포인트 높았고, 고난이도(High) 과제에서는 18.67%로 AIDE의 10.0%를 8.67%포인트 앞섰다.

MLE-Bench는 캐글(Kaggle) 스타일의 머신러닝 경진대회를 복잡도에 따라 분류한 벤치마크로, 각 난이도는 숙련된 머신러닝 엔지니어가 기본 솔루션을 만드는 데 필요한 예상 시간을 기준으로 한다. 저난이도는 2시간 미만, 중간난이도는 2-10시간, 고난이도는 10시간 이상으로 정의된다. 실험에서 R&D-Agent는 12개 가상 CPU, 220GB RAM, V100 GPU 1개가 포함된 환경에서 24시간 동안 작업을 수행했다.

여러 개의 AI가 동시에 문제 해결, 병렬 탐색으로 최적 솔루션 발견

R&D-Agent의 가장 혁신적인 특징 중 하나는 다중 추적(Multi-Trace) 탐색 메커니즘이다. 기존 AI 에이전트들이 단일 탐색 경로에 의존해 차선책에 수렴하는 위험을 안고 있었다면, R&D-Agent는 서로 다른 설정으로 구성된 여러 탐색 추적을 병렬로 실행한다. 각 추적은 프롬프트 전략, 모델 백엔드, 도메인별 도구, 탐색 휴리스틱, 지식 범위 등에서 이질적인 매개변수를 가진다.

이 시스템의 핵심은 단순한 병렬 처리를 넘어선 추적 간 협업 프로토콜에 있다. 각 추적은 솔루션 품질, 참신성, 자원 비용, 오류 복원력 등의 지표를 바탕으로 성능 프로필을 유지한다. 중앙 모듈이 이러한 프로필을 추적하며 비생산적인 추적 종료, 수정된 구성으로 새 추적 생성, 추적 융합 시작 등의 동적 결정을 내린다. 또한 추적들은 효과적인 특성 집합이나 부분 모델 같은 중간 결과를 공유해 집단 학습 과정을 만든다.

11시간 별도 작업 + 2시간 융합으로 완성하는 혁신적 협업 시스템

R&D-Agent의 다중 추적 융합 능력을 평가하기 위한 전용 실험에서 연구진은 o3를 연구 에이전트로, GPT-4.1을 개발 에이전트로 하는 이질적 구성을 사용했다. 두 개의 독립적인 탐색 추적을 각각 최대 11시간 동안 실행하며, 각 추적이 서로 다른 솔루션 전략을 추구하도록 했다. 다양성을 높이고 중복성을 줄이기 위해 두 번째 추적은 첫 번째 추적의 탐색 이력과 실패 사례에 접근할 수 있게 했다.

마지막 2시간 동안에는 융합 단계를 시작해 코드 모듈(특성 엔지니어링, 모델 훈련 루틴), 아이디어(작업 분석이나 모델 설계에 대한 가설), 두 추적의 성능 및 오류 피드백을 병합했다. 이를 통해 각 탐색의 가장 유망한 요소들을 보존하면서 불일치를 해결하는 복합 솔루션을 만들어냈다. 최종적으로 모든 유효한 솔루션 후보들이 평가되고, 검증 성능, 솔루션 견고성, 과적합 위험을 고려한 복합 점수 함수를 바탕으로 최종 제출물이 선택됐다.

FAQ

Q: R&D-Agent와 기존 AI 에이전트의 가장 큰 차이점은 무엇인가요?

A: R&D-Agent는 연구자와 개발자 역할을 분리한 이중 에이전트 구조를 채택했습니다. 연구자 에이전트는 아이디어 생성과 탐색에, 개발자 에이전트는 코드 구현과 디버깅에 특화되어 각각의 전문성을 극대화합니다.

Q: 다중 추적 탐색이란 무엇이며 어떤 장점이 있나요?

A: 다중 추적 탐색은 여러 개의 탐색 경로를 병렬로 실행하고 서로 협업하게 하는 메커니즘입니다. 단일 경로의 한계를 극복하고 다양한 관점에서 솔루션을 발견할 수 있으며, 최종적으로 여러 추적의 장점을 융합해 더 강력한 솔루션을 만들어냅니다.

Q: MLE-Bench에서 R&D-Agent의 성능이 우수한 이유는 무엇인가요?

A: R&D-Agent는 실제 머신러닝 엔지니어링 문제 해결 방식에 더 가깝게 설계되어 견고하고 고품질의 결과를 생성합니다. 또한 각 에이전트에 최적화된 LLM을 할당하고 다중 추적 융합을 통해 기존 방법론보다 우수한 성능을 달성했습니다.


해당 기사에 인용된 논문 원문은 링크에서 확인 가능하다.