리퀴드 AI가 매개변수 26억 개 규모의 온디바이스 에이전트 모델 LFM2.5-2.6B를 8월 4일 공개했다. 매개변수는 모델이 학습으로 얻은 내부 수치의 개수를 말한다. 사후 학습을 마친 모델과 추가 학습용 기본 모델 모두 허깅페이스에 오픈웨이트로 공개돼, 내려받아 고치고 배포하는 데 제약이 없다. 오픈웨이트는 모델의 학습 결과값을 그대로 내려받을 수 있게 열어 둔 배포 방식이다.

이 모델은 클라우드 서버에 접속하지 않고 기기 안에서 계획을 세우고 도구를 부르며 여러 단계로 이어지는 작업을 처리하도록 만들어졌다. 리퀴드 AI는 토큰당 비용이 사라지면 개발 방식 자체가 달라진다고 설명했다. 배경에서 수백만 토큰을 소모하는 작업을 한 기기에서 여러 개 동시에 돌려도 추가 비용이 들지 않는다. 토큰은 모델이 글을 처리하는 최소 단위로, 보통 단어보다 짧은 조각에 해당한다.

용량은 2.5기가바이트 미만이다. 리퀴드 AI 측정에서 M5 맥스는 초당 220토큰, AMD 라이젠 AI 맥스+ 395는 초당 113토큰을 만들어 냈고, 휴대폰에서도 초당 30토큰을 유지했다. 그래픽카드 없이 CPU만으로 낸 수치다. H100 한 장에 몰아서 돌리면 높은 동시 처리 조건에서 초당 1만 5,000토큰에 가까운 출력을 냈는데, 하루로 환산하면 약 13억 토큰이다.

학습에는 토큰 34조 개가 쓰였다. 라틴 문자가 아닌 언어를 더 잘 다루도록 어휘 사전을 12만 8,000개로 두 배 늘렸는데, 모델을 처음부터 다시 학습하지 않고 기존 토크나이저를 그 자리에서 확장하는 방식을 썼다. 토크나이저는 글을 모델이 다루는 단위로 쪼개는 장치다. 긴 입력을 다뤄야 하는 에이전트 작업에 맞춰 한 번에 참고할 수 있는 문맥 길이도 12만 8,000토큰까지 늘렸다.

사후 학습은 네 단계로 진행됐다. 먼저 지도 미세조정으로 전 영역을 고르게 학습한 뒤, 도구 사용과 웹 검색, 소프트웨어 개발 같은 에이전트 작업의 비중을 높여 한 번 더 다듬었다. 지도 미세조정은 정답이 붙은 예시를 보여 주며 모델을 다듬는 단계다. 이어 영역별 전문 교사 모델을 따로 길러 내고, 다중 도메인 온폴리시 증류로 그 능력을 한 모델에 합쳤다. 온폴리시 증류는 학생 모델이 스스로 내놓은 답을 교사 모델이 그 자리에서 교정해 주는 방식이다. 마지막으로 실제 에이전트 실행 환경 안에서 강화학습을 돌렸다.

성능 비교 대상은 젬마-4-E2B-it과 젬마-4-E4B-it, 큐원3.5-4B, 큐원3.5-9B다. 모두 LFM2.5-2.6B보다 크고 큐원3.5-9B는 약 네 배다. 지시 이행 평가에서는 IFBench 59.17점, 멀티-IF 80.07점, IF스트럭트 85.49점으로 전 항목 1위를 기록했고, 도구 사용에서도 툴샌드박스 77.83점 등 대부분 앞섰다. BFCLv4는 56.88점으로 큐원3.5-9B에만 뒤졌다.

코딩은 예외였다. 라이브코드벤치v6에서 59.41점을 기록해 젬마-4-E4B-it과 큐원 모델들보다 부족했다. 리퀴드 AI는 복잡한 에이전트 작업이나 코딩 위주 작업에는 더 큰 모델이 나을 수 있다고 밝혔다.

배포는 공개 첫날부터 llama.cpp와 MLX, vLLM, SGLang, ONNX를 지원한다. 허메스 에이전트와 오픈클로, Pi 같은 하네스에 그대로 연결된다. 하네스는 모델이 도구를 쓰고 작업을 이어 가도록 감싸 주는 실행 틀을 말한다. 리퀴드 AI는 2023년 MIT 출신 연구자들이 세운 회사다.

자세한 내용은 리퀴드 AI 블로그에서 확인할 수 있다.

이미지 출처: 리퀴드 AI