미국 비영리 AI 연구소 앨런 인공지능 연구소(Ai2)가 10월 1일 초대형 AI 모델을 더 빠르게 학습시키는 무료 오픈소스 소프트웨어 ‘올모 코어 3(Olmo-core 3)’를 공개했다. 코드와 기술 보고서는 깃허브와 Ai2 홈페이지에서 누구나 내려받을 수 있다.

올모 코어 3는 ‘전문가 혼합(MoE)’ 구조의 AI 모델 학습에 맞춰 개발됐다. 전문가 혼합은 모델 안에 여러 개의 작은 신경망(전문가)을 두고, 질문마다 필요한 몇 개만 골라 계산하는 구조다. 전체 규모에 비해 한 번에 쓰는 계산량이 적은 편이다.

기존 방식은 학습할 때마다 여러 GPU에 나눠 둔 모델 데이터를 모았다가 다시 나누는 과정을 반복해 시간이 많이 소요됐다. 올모 코어 3는 각 전문가를 GPU에 고정해 두고 필요한 데이터만 해당 전문가로 보내 이 과정을 줄였다.

Ai2의 초기 측정에 따르면 엔비디아 B300 GPU 8개로 매개변수 470억 개 규모의 모델을 학습할 때, GPU 한 개가 1초에 처리하는 토큰은 5만 2,000개로 기존 방식(1만 9,400개)보다 약 2.7배 많았다. 매개변수는 AI 모델이 학습으로 조정하는 값으로, 모델의 크기를 나타내는 기준이다. 전문가 수를 8개에서 128개로 확대해 모델 크기를 10배 이상 키워도 학습 속도 감소 폭은 5% 미만이었다. 수치를 더 적은 비트로 표현하는 저정밀도 형식 MXFP8을 적용하면 속도가 약 21% 빨라지고 메모리 사용량도 103GiB에서 95GiB로 감소했다.

Ai2는 GPU 512개로 매개변수 1조 2,000억 개 규모의 모델도 실행해 봤다. 다만 이 시험은 학습 시스템의 성능만 확인한 것으로, 학습을 마친 모델의 품질과는 관계가 없다. Ai2는 다음 세대 올모 AI 모델을 올모 코어 3로 개발할 계획이다.

자세한 내용은 Ai2에서 확인할 수 있다.

이미지 출처: Ai2