커서가 전문가 혼합(MoE) 모델 학습용 커널 ‘믹스처 오브 키튼스(MoK)’를 현지 시각 8월 4일 오픈소스로 공개했다.

MoE는 모델을 여러 전문가 신경망으로 나눠 입력마다 일부만 켜서 쓰는 구조다. 전체를 다 돌리지 않아 연산량이 줄지만, 어떤 전문가에게 어떤 데이터를 보낼지 정하고 결과를 다시 모으는 과정에서 GPU 사이 통신이 병목이 된다. MoK는 이 통신과 연산 단계를 하나의 결정적 커널로 합쳤다. 결정적이라는 것은 같은 입력에 항상 같은 결과를 낸다는 뜻으로, 학습 결과를 재현하고 문제를 추적하기 쉬워진다.

커서는 GB300 NVL72 랙에서 MXFP8 순전파 처리량이 공개된 최고 기준선 대비 최대 2.37배로 올라갔다고 밝혔다. 자사 학습 스택에 넣었을 때는 종단 간 초당 토큰이 1.41배가 됐는데, 기존 딥EP 기반 구성보다 약 41% 빠른 수치다.

쓸 수 있는 하드웨어는 엔비디아 블랙웰 SM100 또는 SM103 GPU로 한정되며, GB200 NVL72와 GB300 NVL72 랙이 대상이다. 정밀도는 BF16과 MXFP8 두 가지를 지원한다.

커서는 MoK를 이미 수만 장 규모의 GPU에서 자사 모델 컴포저 학습에 쓰고 있다고 설명했다.

자세한 내용은 커서 블로그에서 확인할 수 있다.

이미지 출처: 커서