[IT동아 남시현 기자] 시장조사기업 마켓앤마켓이 지난해 12월 발표한 ‘2025년~2030년 인공지능(AI) 데이터센터 시장 규모, 점유율 및 추세’ 보고서에 따르면 2025년 AI 데이터센터 시장 규모는 약 2364억 4000만 달러(약 328조 1700억 원)며, 2030년까지 매년 31.6%씩 성장해 최대 9337억 6000만 달러(약 1296조 500억 원)의 시장으로 성장할 것으로 예측했다. 다른 시장조사기업의 예측 차이를 고려해도 AI 데이터센터 시장이 약 8000억 달러(약 1110조 4000억 원)까지 성장할 것이라는데는 이견이 없다.

마켓앤마켓은 폭발적인 성장의 배경으로 산업 전반의 디지털화를 통한 AI 연산 처리의 증가, 각국 정부의 AI 투자 확대, AI를 통한 광범위한 데이터 분석과 고성능 인프라의 필요성을 들었다. 하지만 문제는 AI 데이터센터의 인프라 수요가 엔비디아 그래픽 처리 장치(GPU)에 집중되는 점이다. 또 핵심 부품인 고대역폭 메모리(HBM)의 가격 변동, 빅테크 기업의 수요 집중으로 인해 전세계적인 AI 인프라 불균형은 피할 수 없는 상황이다.

상황이 이렇다 보니, 빅테크 기업들은 일찌감치 자체 반도체를 설계하거나 추론 전용 AI 반도체 확보에 집중하고 있다. 구글은 2017년부터 텐서 프로세싱 유닛(TPU)을 개발해 자사 클라우드에 사용 중이다. AWS 역시 그래비톤, 트레이니엄, 인퍼런시아 등 다양한 종류의 자체 반도체를 갖고 있다. 최근에는 클라우드 서비스 기업이 아닌 오픈 AI가 브로드컴과 함께 AI 칩을 출시하기로 하면서 AI 반도체 확보 열기가 모든 AI 기업으로 확산하는 추세다.

전 세계 기업이 반도체 확보에 사활··· 국산 AI 반도체 저력 상당해

전 세계 AI 기업이 자체 반도체 확보에 심혈을 기울이는 가운데, 우리나라 기업들은 자체 설계 반도체로 세계 시장을 공략 중이다. 국내에서 주목할만한 AI 반도체로는 퓨리오사AI의 2세대 신경망 처리 장치(NPU) RNGD, 리벨리온의 리벨 쿼드가 앞선다는 평가를 받는다. RNGD는 핫칩스 2024에서 공개된 NPU로 고효율 추론 작업에 적합하다는 평가를 받는다. 리벨리온은 올해 8월 핫칩스 2025에서 칩렛 기반 AI 반도체 ‘리벨쿼드’를 공개했다. 칩렛은 서로 다른 공정으로 제작된 반도체를 하나로 엮는 패키징 기술이다. 아울러 모빌린트, 딥엑스 역시 서버용 반도체 및 엣지 AI용 장치로 시장을 공략하고 있다.

국내 AI 반도체 기업들이 올해를 기점으로 주요 신제품을 공개하면서, 글로벌 시장을 향한 경쟁도 거세지는 상황이다. 게다가 실리콘밸리를 거점으로 하는 텐스토렌트(Tenstorrents), 삼바노바(SambaNova), 세레브라스(Cerebras), 그로크(Groq) 등 캐나다 및 미국 소재의 AI 반도체 기업들도 넘어야할 산이다. 실리콘밸리 소재의 반도체 기업은 스포츠로 따지면 홈그라운드의 이점을 가지고 있어 한국 기업 입장에서는 더욱 분발해야 하는 상황이다.

하이퍼엑셀 논문과 제품, 해외에서 먼저 주목

이런 가운데, 차세대 반도체 출시를 앞두고도 이미 큰 주목을 받는 기업이 있다. 김주영 KAIST 전기전자공학부 교수가 2023년 설립한 AI 반도체 기업 ‘하이퍼엑셀’이다. 하이퍼엑셀은 창업 직후 AMD와 협업한 FPGA(프로그래밍 가능한 반도체) 기반의 LPU(대형언어모델 처리 장치) ‘오리온’을 출시해 업계의 이목이 집중됐고, 현재는 내년 상반기 출시를 목표로 4나노미터 공정 기반의 ASIC(주문형 반도체)인 ‘베르다(Bertha)’를 개발 중이다.

하이퍼엑셀 LPU에 대한 가능성은 학계에서 먼저 주목받았다. 하이퍼엑셀이 지난해 공개한 ‘LPU: 대규모 언어모델 추론을 위한 대기 시간 최적화 및 확장성이 높은 프로세서’ 논문이 지난달 IEEE 컴퓨터 소사이어티가 주관하는 Micro 저널에서 2024년 최우수 논문상(Best Paper)으로 선정됐다. 국내 AI 반도체 기업이 수상한 논문상 중에서는 가장 권위 있는 상이다.

최우수 논문상을 수여한 IEEE 컴퓨터 소사이어티는 IEEE 산하 39개 기술학회 중 가장 큰 규모로 150개 국가에서 38만 명의 회원이 활동 중이며, ACM(계산기협회)과 함께 전 세계 컴퓨터 학회 양대 산맥으로 불린다. 모 협회인 IEEE는 1962년 미국에서 설립된 전기 및 전자 기술자 협회로 약 50만 명의 엔지니어링 및 기술 전문가들이 소속돼 있다.

지난 9월 1일에는 대만 국가과학기술위원회가 주최한 ‘IC 대만 그랜드 챌린지’에서 AI 핵심 기술 및 칩 분야로 수상의 영예를 안았다. IC 대만 그랜드 챌린지는 AI 핵심기술 및 칩, 스마트 모빌리티, 제조, 의료, 지속가능성 분야별로 우수 기업을 선정한다. 특히 대만이 전세계 AI 반도체의 본진으로 떠오르면서 AI 핵심기술 및 칩 부문에 이목이 집중된다. 하이퍼엑셀은 딥멘토(DeepMentor), 펨토AI(femtoAI)와 함께 상을 받았으며, 위원회는 하이퍼엑셀이 LLM 데이터 처리에 집중한 반도체를 통해 비용 효율성을 끌어올린 점을 수상의 이유로 꼽았다.

대만 정부가 하이퍼엑셀의 반도체를 높게 평가한 점은 큰 의의가 있다. 이미 TSMC가 전 세계 반도체 업계의 큰 손으로 통하는 데다가, 현재 AI 반도체 시장의 90% 이상 점유율을 가진 엔비디아가 대만에 제2 본사를 설립하고 반도체 전초기지로 삼는다. 국내에서도 AI 반도체 기업 딥엑스가 대만에 지사를 설립하는 등 AI 반도체 기업들이 속속들이 몰리는 중에 낸 성과이기 때문이다.

AWS 클라우드에도 LPU 등재, 미국 시장 진출에 박차

상용화 측면에서도 한걸음 다가섰다. 하이퍼엑셀은 최근 국내 AI 가속기 기업 중 최초로 아마존웹서비스의 F2 인스턴스를 통한 LPU 상용 서비스를 시작했다. AWS 마켓플레이스에서 FPGA 기반 LPU를 대여해 기계학습 설루션, 자연어 처리, 세대-텍스트 처리 작업을 할 수 있다.

초기 버전에서 운용 가능한 AI 모델은 ▲ 메타 라마 3.1-8B Instruct, 3.2-1B 및 3B Instruct ▲네이버 하이퍼클로바X-SEED-TEXT-Instruct-0.5B 및 1.5B ▲LG AI연구원 엑사원-3.5-2.4B 및 7.8B Instruct 모델이 있다. AWS가 국산 AI 가속기를 상용 서비스로 추가함에 따라 다양한 국내외 기업들이 직접 하이퍼엑셀 FPGA로 LPU 기반 서비스를 구축할 수 있게 됐다.

하이퍼엑셀은 올해 11월 16일에서 21일 사이 미국 미주리 주 세인트루이스에서 개최되는 슈퍼컴퓨팅 2025(SC 25)에도 참석해 미국 시장에 LPU 기반 기술을 소개할 예정이다.

2026년, 글로벌 AI 하드웨어 기업 경쟁 본격화

2023년 AI 가속기 시장의 핵심은 AI 모델을 구축하는 훈련 작업이었다. 하지만 GPU 단가가 너무 비싸고 수급도 어렵다보니 모델을 운용하는 추론 작업은 GPU가 아닌 AI 가속기를 쓰자는 인식이 자리잡았다. 덕분에 국내외 AI 반도체 기업들 역시 엔비디아와의 직접 경쟁하기보다는 각자의 용도에 맞는 추론 분야 시장을 공략하고 있으며, 하이퍼엑셀 역시 그중 하나다.

하지만 기업들이 각자 분야만 공략한다고 해도 플레이어의 수가 많긴 하다. 2025년 이후부터는 훨씬 더 경쟁이 본격화할 전망이다. 당장 엔비디아가 내년 하반기에 루빈(Rubin) 아키텍처 기반의 차세대 GPX를 출하한다. 미국 세레브라스는 슈퍼컴퓨터 급 반도체인 웨이퍼 스케일 엔진-3의 상업 가동을 시작하고, 짐 캘러가 이끄는 텐스토렌트도 내년에 퀘이사(quasar), 그렌델(Grendel) 등 신형 칩셋을 공개할 가능성이 높다. 퓨리오사AI의 RNGD는 도입사례가 크게 늘고, 리벨리온의 리벨 쿼드도 본 계약이 늘어날 것이다.

하이퍼엑셀 베르다 역시 시장의 기대만큼 강력한 경쟁력을 갖춰야 한다. 다행히 하이퍼엑셀은 다른 제품들과 달리 LLM 추론에 집중하고, LPDDR 메모리를 사용해 상대적으로 저전력 환경에서 동작한다. 분명한 차별점을 만들고 기존 고성능 반도체들이 접근하지 못하는 특수한 시장을 노리는 것이다. 올해 하이퍼엑셀은 학계에서도, AI 반도체 업계에서도 그 존재감을 분명히 드러냈다. 2026년이면 그 서사가 본격적으로 시작될 것이다.

IT동아 남시현 기자 (sh@itdonga.com)