[IT동아 남시현 기자] AI 반도체 기업 퓨리오사AI가 국내 AI 인프라 기업으로는 유일하게 오픈AI 코리아 개소식에 참석해 2세대 신경망 처리 장치(NPU) RNGD를 선보였다. 오픈AI는 앞서 10일 기자간담회를 열고 대한민국 시장 진출을 공식 선언했다. 이로써 우리나라는 일본, 싱가포르에 이어 세 번째로 오픈AI 지사 설립국이 됐다. 제이슨 권 오픈AI 최고전략책임자(CSO)는 기자간담회에서 "한국은 세계적 수준의 인프라와 혁신적인 기업, 빠른 디지털 도입 속도를 갖춘 AI 혁신의 최적지"라며 "오픈AI가 한국의 AI 대전환을 위한 파트너가 되겠다"라고 밝힌 바 있다.

기자간담회가 하루 지난 11일에는 오픈AI 코리아 개소식이 진행됐으며, 이 행사에 퓨리오사AI가 직접 참가했다. 퓨리오사AI는 행사에서 단 두 대의 RNGD 카드를 활용해 MXFP4 정밀도(기계학습용 4비트 부동소수점 정밀도 형식) 기반으로 gpt-oss 120B 모델을 효율적으로 실행하는 실시간 챗봇을 선보였다. gpt-oss 120B는 데이터를 구성하는 매개변수가 1200억 개로 구성된 모델이며, 그래픽 메모리 80GB 이상의 엔비디아 H100 GPU 두 장 및 32GB 시스템 메모리가 필요하다.

gpt-oss 120B 모델은 누구나 무료로 활용할 수 있는 오픈 웨이트 AI 모델이지만, 매개변수가 워낙 커 일반 PC로는 불가능하고, AI 연구용 PC나 서버 환경에서나 구동할 수 있다. 퓨리오사AI의 RNGD는 1.5TB 대역폭의 48GB HBM3 메모리를 탑재해 두 장을 활용하면 gpt-oss 120B를 구동할 수 있다. 이번 데모 시연에서 두 장을 활용한 것도 80GB 메모리 요구를 맞추기 위해 두 장을 연결해 96GB를 맞춘 것이다.

RNGD를 활용한 gpt-oss 120B 시연은 NPU의 높은 전력소모대 성능비를 보여준다. RNGD의 열설계전력(TDP)은 180W다. 두 장을 활용해도 360W 수준이다. 반면 엔비디아 H100은 한 장으로 350~400W 구성이며, 최대 700W다. 메모리나 성능을 고려했을 때 두 장을 활용해 1000W 이상의 냉각 체계가 필요하다.

TDP는 프로세서의 최대 열량과 이를 냉각할 시스템을 갖추도록 하는 성능 지표로, 소비전력을 직접적으로 의미하진 않는다. 다만 RNGD 두 장은 일반 사용자용 데스크톱 수준의 냉각 체계만으로도 충분하고, 엔비디아 H100은 이보다 두 배 이상의 냉각 체계가 필요하다는 점에서 RNGD의 높은 전력 효율을 가늠할 수 있다. 즉 고성능 AI를 서버 환경이 아닌 일반 산업용 환경이나 사무실에서도 구축할 수 있다.

퓨리오사AI가 오픈AI 코리아 개소식에서 RNGD로 AI를 시연한 점은 그만큼 RNGD가 글로벌 AI 하드웨어로 인식되고 있음을 뜻한다. 기존의 서버 시장에서 통용되는 엔비디아 제품 대신 국산 NPU가 대안이 될 수 있음을 알렸다.

백준호 퓨리오사AI 대표는 “‘AGI(범용인공지능)가 인류 전체에 이롭도록 한다’는 오픈AI의 미션과 ‘AI를 지속가능하고 접근가능하게 한다’는 퓨리오사AI의 미션은 상통한다. RNGD와 gpt-oss의 결합은 전 세계 오픈 소스 기반 AI 생태계를 더욱 빠르게 확산시킬 것”이라고 전했다.

IT동아 남시현 기자 (sh@itdonga.com)