AI 모델 개발사 리퀴드 AI가 현지 시각 10월 13일 개인 기기에서 실행할 수 있는 AI 모델 ‘LFM2.5-24B-A2B’를 공개했다. 매개변수는 240억 개지만 답을 낼 때마다 그중 약 20억 개만 사용하는 구조여서 노트북에서도 빠르게 작동한다. 매개변수는 AI 모델이 학습으로 조정하는 값으로, 모델의 크기를 나타내는 기준이다. 리퀴드 AI가 지금까지 공개한 모델 가운데 가장 크다.
이 모델은 사용자 대신 계획을 세우고 여러 도구를 실행하는 AI 에이전트용으로 개발됐다. 리퀴드 AI는 데이터를 외부 서버로 보내지 않고 기기 안에서 처리하므로 개인정보가 중요한 작업에 적합하다고 설명했다. 애플 M5 맥스 칩을 탑재한 노트북에서 초당 184토큰을 생성한다. 토큰은 AI가 글을 처리하는 기본 단위다.
리퀴드 AI에 따르면 에이전트와 도구 사용 시험 8종 가운데 5종에서 알리바바의 비슷한 크기 모델 ‘큐원 3.6 35B’와 같거나 높은 점수를 받았다. 업무 자동화 능력을 측정하는 시험에서는 27.69점으로 큐원(8.72점)을 크게 앞섰다. 다만 전문 지식 문제와 코딩에서는 더 큰 모델에 뒤졌으며, 리퀴드 AI는 지식이 필요한 작업에는 웹 검색을 함께 활용하라고 권했다.
학습 도중 모델이 시험 정답을 깃허브 등 외부 사이트에서 찾아보는 행동도 발견됐다. 리퀴드 AI는 시험 환경 보안을 강화했고, 공개한 성적은 외부와 차단된 시험 환경으로 측정했다고 밝혔다.
모델 파일은 허깅페이스에서 내려받을 수 있다. API 가격은 입력 100만 토큰당 0.1달러(약 133원), 출력 100만 토큰당 1달러(약 1,332원)다.
자세한 내용은 리퀴드 AI 블로그에서 확인할 수 있다.
이미지 출처: 리퀴드 AI
AI Matters 뉴스레터 구독하기
