엔비디아가 8일(현지 시간) 국내 AI 반도체 스타트업 리벨리온, SK텔레콤과 한국 소버린 AI 인프라 구축을 위한 협력을 발표했다. 리벨리온은 차세대 신경망 처리 장치(NPU) ‘R200’을 엔비디아의 칩 연결 기술 ‘NVLink 퓨전’으로 엔비디아 플랫폼에 연결하고, SK텔레콤은 R200 시스템을 자사 AI 데이터센터에 배치할 계획이다. 과학기술정보통신부가 이번 협력을 지원한다.

소버린 AI는 한 나라가 자국의 언어와 데이터, 인프라로 독자적인 AI를 구축하고 운영하는 것을 말한다. NPU는 AI 연산에 특화해 설계한 반도체다. NVLink 퓨전은 엔비디아가 다른 기업의 맞춤형 칩을 자사 GPU와 고속 연결망에 연결할 수 있도록 개방한 기술이다.

엔비디아에 따르면, 리벨리온은 NVLink 퓨전으로 서버 랙 안의 R200 NPU들을 엔비디아의 고속 연결망 NVLink로 연결하고, 엔비디아의 랙 설계 규격 ‘MGX’를 활용해 랙 단위 시스템을 개발한다. 랙은 서버 여러 대를 쌓아 운영하는 데이터센터 설비 단위다. 리벨리온은 R200을 매개변수 수조 개 규모의 전문가 혼합(MoE) 모델 같은 최신 대형 모델을 낮은 지연 시간과 높은 전력 효율로 추론하도록 최적화하고 있다. 전문가 혼합은 질문마다 일부 하위 모델만 작동시켜 연산량을 줄이는 구조다. 리벨리온은 MGX 생태계를 통해 서버 설계 생산 업체와 부품 공급망도 활용할 수 있다.

3사는 AI가 답변을 생성하는 과정을 단계별로 나눠 처리하는 방식을 개발할 계획이다. 사용자가 입력한 내용을 처리하는 프리필 단계는 엔비디아 GPU가, 답변을 차례로 생성하는 디코드 단계는 리벨리온 NPU가 처리해 추론 처리량과 전력 효율을 높이는 방식이다. MGX 구조는 GPU 시스템과 NPU 시스템이 랙 크기, 전력 공급, 냉각 설계를 공유할 수 있게 한다.

SK텔레콤은 이 인프라를 자체 AI 모델 ‘A.X K2’, 정부의 ‘AI 포 올(AI for All)’ 사업으로 개발한 공공 서비스와 연결할 계획이다. 젠슨 황 엔비디아 CEO는 “NVLink 퓨전으로 한국 반도체 기업은 맞춤형 칩을 엔비디아 AI 팩토리 플랫폼에 연결할 수 있다”고 말했다. 박성현 리벨리온 대표는 “리벨리온의 반도체와 시스템 설계를 NVLink 퓨전, SK텔레콤의 모델과 데이터센터 운영 역량과 결합해 대형 모델을 낮은 지연 시간과 높은 전력 효율로 추론하겠다”고 밝혔다.

배경훈 부총리 겸 과학기술정보통신부 장관은 “국내 개발 NPU가 NVLink 퓨전을 통해 엔비디아와 함께 컴퓨팅 인프라 시장에 진입할 수 있게 됐다”며 피지컬 AI와 GPU 확보 등 여러 분야에서 엔비디아와 협력을 확대하겠다고 밝혔다. 과기정통부는 리벨리온을 시작으로 국내 NPU 기업과 엔비디아의 협력을 지원한다. 리벨리온의 R200 시스템은 2028년 배치를 목표로 한다.

자세한 내용은 엔비디아 뉴스룸에서 확인할 수 있다.

▶︎ 관련 기사: 엔비디아, 한국 AI 반도체 스타트업 리벨리온과 협상…젠슨 황·박성현 본사 회동

▶︎ 관련 기사: d-매트릭스, 엔비디아 NVLink 퓨전 채택…랙스케일 XPU 배포

이미지 출처: 엔비디아