알리바바(Alibaba)는 기존 문제 해결과 개방형 문제 해결이 모두 가능한 대규모 언어모델(LLM) '마르코-o1(Marco-o1)'을 발표했다.

알리바바의 마르코폴로(MarcoPolo) 팀이 개발한 마르코-o1은 수학, 물리학, 코딩을 비롯해 명확한 기준이 없는 분야에서도 복잡한 추론이 가능한 AI 모델이다. 오픈AI(OpenAI)의 o1 모델의 추론 발전을 기반으로, 사고 연결(Chain-of-Thought) 미세조정, 몬테카를로 트리 탐색(Monte Carlo Tree Search), 새로운 반영 메커니즘을 도입했다.

개발팀은 오픈-O1 CoT 데이터셋, 마르코-o1 CoT 데이터셋, 마르코 명령어 데이터셋 등 6만 개 이상의 엄선된 데이터를 활용해 포괄적인 미세조정 전략을 구현했다. 영어 MGSM 데이터셋에서 6.17%, 중국어 데이터셋에서 5.60%의 정확도 향상을 달성했으며, 특히 구어적 표현과 문화적 뉘앙스 번역에서 우수한 성능을 보였다.

마르코-o1의 가장 혁신적인 특징은 몬테카를로 트리 탐색 프레임워크 내에서 다양한 행동 단위를 구현한 것이다. 32토큰이나 64토큰 단위의 세부 단계까지 추론 경로를 탐색할 수 있다. 또한 자체 평가와 추론 재검토가 가능한 반영 메커니즘을 도입해 복잡한 문제 해결의 정확도를 높였다.

알리바바 개발팀은 현재 모델의 한계도 인정했다. 강력한 추론 특성을 보여주지만, 완전한 'o1' 모델에는 미치지 못한다고 밝혔다. 향후 결과 보상 모델링(Outcome Reward Modeling)과 과정 보상 모델링(Process Reward Modeling)을 도입하고, 강화학습 기술을 통해 문제 해결 능력을 더욱 발전시킬 계획이다.

마르코-o1 모델과 관련 데이터셋은 알리바바의 깃허브(GitHub) 저장소를 통해 연구 커뮤니티에 공개됐으며, 설치 지침과 FastAPI를 통한 배포 예제 스크립트도 함께 제공된다.

해당 기사에서 언급한 모델에 대한 자세한 내용 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

AI Matters 뉴스레터 구독하기