[IT동아 남시현 기자]

“GPU가 AI 인프라의 중심이던 시절일 때 AI-NIC(네트워크 인터페이스 카드), DPU(데이터 처리 장치)의 핵심 역량은 여러 GPU가 동시에 학습을 수행할 때 발생하는 전체 데이터 병합(All-Reduce)과 결과 배포(Broadcast), 집계 통신(Collective Communication)을 얼마나 가속화하는가에 달려있었다. 하지만 장문맥과 다단계 추론을 반복하는 에이전틱 AI가 확산하면서 지금은 GPU, 네트워크로 연결된 대규모 공유 저장장치를 얼마나 가속할 수 있는지, CPU에 가해지는 부담을 얼마나 DPU로 잘 분산, 적재하는지가 새로운 경쟁의 축으로 부상하고 있다”

에이전틱 AI와 장문맥 추론은 AI 인프라 시장에서 새로운 인터페이스 수요를 만들어내고 있다. 대형언어모델(LLM) 추론 작업은 단순한 요청 및 응답 중심이라면 AI 에이전트는 여러 차례 모델을 호출하고, 도구를 사용하며 과거 문맥을 다시 참조한다. 이에 따라 KV캐시(Key Value)가 GPU 메모리 내에만 저장되어 있기 어렵고 시스템 메모리와 저장 장치, 더 나아가 네트워크로 연결된 대규모 공유 저장장치까지 끌어다 써야 하는 판국이다.

이에 따라 엔비디아는 저장장치 계층을 GPU에 직접 연결되는 HBM 등을 G1, 시스템 메모리를 G2, SSD 등 저장 장치를 G3, 이더넷 연결 플래시 기반 콘텍스트, KV 캐시 계층을 G3.5, 공유 저장장치를 G4로 공식적으로 구분해서 분류하기 시작했고, AI 인프라 관련 시장도 이에 맞춰 재편되고 있다. 망고부스트 입장에서 이런 시장 흐름은 새로운 기회가 되고 있다.

망고부스트는 2022년 DPU 기반의 AI 인프라 솔루션 기업으로 시작해 최근에는 GPU 서버, 스토리지, 소프트웨어 등 AI 인프라 전반에 관여하고 있으며, 특히 AMD의 주요 기술 파트너로서 시장의 성장에 발맞추고 있다. 권동업 망고부스트 최고기술책임자(CTO)를 만나 AI 인프라 시장 전반에 대한 시각과 회사의 전략에 대한 의견을 들어보았다.

“인터페이스가 AI 병목 될거라는 시각에서 망고부스트 시작됐다”

권동업 망고부스트 CTO는 과거 포항공과대학교 재학 시절부터 김장우 서울대 전기정보공학부 교수와 인연을 맺었고, 이후 고성능 컴퓨터 시스템 연구실(HPCS Lab)에서 연구개발을 진행했다.

권동업 CTO는 “DPU 연구는 학부 시절부터 진행해왔다. 향후 인터페이스가 고속화되어 여러 서버가 연결되면 CPU와 인터페이스 속도가 한계의 원인이 될 것이라 생각했다. 그래서 인터페이스 수준에서 각 장치를 직접 연결하는 하드웨어가 필요해질 것이라고 생각돼 새로운 서버 구조를 제안했다. 당시에는 DPU 개념은 없고 장비 중심 서버 아키텍처(Device-Centric Server Architecture)를 통해 지금의 DPU 개념을 만들었다”라면서 “이 개념이 단순히 연구실에서 머무르지 않고 제품화할 수 있도록 김장우 교수와 몇몇 연구실 인원들이 힘을 합쳐 망고부스트를 창업했다”라고 설명했다.

이에 따라 사업 초기에는 DPU에 집중했지만 지금 시점에서는 ‘풀스택 AI’라고 부를 만큼 AI 인프라 전반에 관여하는 중이다. 권동업 CTO는 “최근 AI 팩토리 단위의 기본 요소는 랙이며, 그 안에 GPU 서버, 스토리지, 탑 오브 랙 스위치, 패브릭, 추론 소프트웨어 등이 포함된다. 초기에는 FPGA(프로그래밍 가능한 반도체)를 바탕으로 DPU, 특정 사용자용 애플리케이션 지원 등에 집중했지만 최종 사용자를 이해해야 우리 경쟁력으로 가져올 수 있다고 생각했다. 그래서 업계에서 AI 인프라가 어떻게 개발되고 활용되는지를 구성하고자 하여 인프라 전반을 다루게 됐다”라고 말했다.

AI 인프라 전반을 다루다보니 조직 구성도 하드웨어와 소프트웨어를 전반적으로 채용했다. 권동업 CTO는 “팀 측면에서는 하드웨어 개발 그룹이 HW IP 개발 팀, 카드 및 보드 개발, 칩 개발 등등 물리적인 영역을 담당하고, 카드와 서버 제품군, 소프트웨어 개발 도구, LLM 관련 추론 소프트웨어 등을 개발하는 소프트웨어 엔지니어링 팀으로 나뉜다. 또한 하드웨어와 소프트웨어가 잘 엮이도록 컴퓨트 아키텍트 그룹이 중간에서 조율하는 역할을 한다”라고 정리했다.

세 개 팀은 업계 최고 수준의 경력을 가진 엔지니어들이 총괄하고 있고, 권동업 CTO는 하드웨어, 소프트웨어, 아키텍트 세 팀의 중심에서 모든 작업을 조율하고 있다. 또한 라차타 아우사바룽니룬(Rachata Ausavarungnirun) 박사가 망고부스트 AI 아키텍처 총괄로서 권동업 CTO와 함께 제품 간 시너지, AI 에이전트 팩토리 등을 공동 연구개발하고 있다.

CPU 중요성 높아진 에이전틱 AI 시대, 망고부스트의 경쟁력은?

엔비디아의 GPU 다이렉트 스토리지, 그리고 세대별 아키텍처는 AI 인프라 업계 전반의 구조를 뒤엎고 있다. 저장장치가 데이터 보관 용도에서 초고속 데이터 공급 장치로 변화했고, AI 전용 저장장치가 새롭게 대두되고 있다. 특히 AI 학습 및 추론 과정에서 데이터 이동 시 CPU 사용량이 급감해 지연 시간이 줄었고, CPU 자원을 에이전트 실행과 오케스트레이션 등 다른 작업에 더 활용할 여지가 생겼다. 자연스레 데이터 이동의 부하는 PCIe 스위치, 그리고 DPU가 담당하게 됐다. 망고부스트가 차지하는 업계의 중요성도 함께 높아졌다.

권동업 CTO는 “CPU의 부담을 DPU가 얼마나 줄여주는가가 새로운 메모리 계층에서의 핵심 경쟁력이다. 특히 3.5티어에 해당하는 이더넷 연결 메모리는 호스트 CPU 없이 DPU가 주력으로 작용해 그 중요성이 더 높아졌다”라고 말했다. 또한 “시장에서 가장 수요가 높은 DPU는 엔비디아 블루필드지만, 에이전틱 AI 시대에는 DPU가 담당해야 할 역할 자체가 달라지고 있다. 부스트X(BoostX) 에이전트 팩토리, 즉 대규모 추론·서빙 환경으로 운용할 때 필수적인 KV 캐시 계층(G3.5·G4) 가속과 이기종 GPU 풀링을 한 번에 처리하는 데 맞춰져 있다. 현재 부스트X(BoostX)는 LP 카드 형태고, 내년 상반기에는 x86 CPU를 탑재한 스탠더드 폼팩터 DPU를 출시할 예정이며, 2028년 상반기에는 800G 듀얼 포트 DPU까지 확장할 계획” 이라고 말했다.

다만 부스트X 베이스 등 핵심 DPU는 AMD 버설 기반의 FPGA로 구성되어 있고, 대규모 양산이나 전력 효율 면에서는 주문형 반도체(ASIC)보다 불리한 것이 사실이다. 이와 관련해 FPGA를 유지하는지, ASIC을 시작하는가에 대해서는 “내부적으로도 ASIC에 대한 필요성은 느끼고 있으며, FPGA 역시 계속 필요할 것이다. 향후에 대역폭 경쟁이나 대량 도입이 요구된다면 FPGA와 ASIC을 혼용하지 않을까 한다. 당장 중국에서도 FPGA 기반 DPU가 신규 등장하고 있고, 네트워크 패브릭에 대한 혁신도 이어지고 있어서 장기적으로는 두 구성을 복합할 것으로 생각한다”라고 답했다.

자체개발 DPU사업을 기반으로 에이전트 AI 시대의 주요 하드웨어 중 하나로 인식되면서 망고부스트 역시 알폰소(Alphonso) GPU 서버와 케사르(Kesar) 스토리지 서버, 오케스트레이션, GPU, 스토리지까지 모든 인프라를 종합해서 다루기 시작했다. 권동업 CTO는 “DPU 하나만 바라보는 것은 파편화된 접근 법이고, 궁극적으로 효율을 끌어올리기 위해서는 에이전틱 AI와 관계된 모든 구성 요소를 다 다룰 수 있어야 한다고 본다. 특히 소프트웨어만으로는 경쟁 기업이 많고, 기술적 장벽도 낮아지고 있어서 하드웨어를 기반으로 소프트웨어까지 다루는 방식이 기술적인 해자로 작용할 것”이라고 설명했다.

한편 망고부스트는 오는 11월 2일 그리스 아테네에서 열리는 컴퓨터 아키텍처 학회 IEEE/ACM 인터내셔널 심포지엄 온 마이크로아키텍처의 마이크로 2026 인더스트리 세션에서 ‘‘BoostX-RNIC: Fast, Scalable and Flexible AI RNIC’를 주제로 발표한다. 해당 발표에서는 망고부스트가 GPU와 저장장치, KV 캐시 및 오픈 생태계 등의 기능을 어떻게 AI추론 가속 DPU로 해결하고 있는지 자세히 소개할 예정이다.

LLM 효율성에 집중··· ‘대륙간 추론 환경’ 구축도 성공

망고부스트는 올해 1월 ‘LLM부스트(LLMBoost)’를 출시하고 AI 최적화 솔루션 시장공략에 나선 상황이다. 하지만 국내에도 프렌들리AI, 래블업, 양자화 기술 기업인 노타 등 다양한 스타트업들이 LLM 최적화 기술을 개발 중이다. 다만 이들 기업이 소프트웨어 중심이라면 망고부스트는 DPU라는 명확한 하드웨어를 중심으로 LLM 효율성 개선에 나서고 있다. 구체적인 지원 범위와 차이점 소개를 부탁했다.

권동업 CTO는 “우리가 다루는 영역은 넓다. 커널 최적화 레이어에서부터 vLLM, SGLang 기반의 서빙 레이어도 다루고 있으며, LLM 요청 분산 및 스케줄링 등 주요 영역까지 다루고 있다. KV 캐시 확장을 위한 G3.5G, G4 계층을 위한 추론 소프트웨어, 자체 최적화 방법까지 모두 다루고 있다”라면서 “가장 최적화가 잘돼있는 하드웨어는 AMD 인스팅트 MI 시리즈고, 효율적인 방안을 찾는다면 망고부스트가 정답이다. 지난 2년 간 AMD에서 제출한 MLPerf 결과물 중 최고 성능이 우리가 제출한 결과였고, 그만큼 AMD GPU에 대한 이해가 깊은 편”이라고 설명했다.

앞서 망고부스트는 2025년 MLPerf 추론 v5.1 테스트에서 MI300X와 MI325X를 하나의 추론 시스템으로 운영하는 이기종 GPU 배치를 공개했고, 올해 MLPerf 추론 v6.0에서는 미국에 배치된 MI355X와 국내에 있는 MI325X, MI300X를 하나의 추론으로 엮어 동시에 운용했다. 지난 8월 제출한 MLPerf 추론 v6.1은 망고부스트의 데이터센터와 미국에 위치한 마이크로소프트 애저, 텐서웨이브, 델 테크놀로지스까지 4개의 사업자와 4개의 클러스터에 배치된 32개의 GPU를 하나의 LLM 부스트 서빙 풀로 구축한 결과를 내기도 했다.

권동업 CTO는 “이런 복합적인 추론 환경 구축 사례는 앞으로도 늘어날 것이다. 각 지역과 데이터센터마다 서로 다른 GPU들이 쌓여있고, 수요 공급이 일치하지 못한다. 이런 조건에서 멀티리전, 이기종 GPU 풀이 현실적인 대안이 될 것이다. 특히 우리나라에서는 기가와트 급 데이터센터를 구축하기 어려운데, 수십 메가와트 수준의 데이터센터를 하나로 엮거나 서로 다른 제조사, 사업자간의 GPU를 엮어서 서비스하는 방식도 가능해질 것”이라고 답했다.

AMD와는 2년 이상 기술 협업, NPU 기업과도 협업 열려있어

망고부스트는 최근 몇년 간 AMD와 기술적 협력 관계를 이어왔고, 지난 7월 AMD의 연례 콘퍼런스인 어드밴싱 AI를 계기로 관계가 급진전되고 있다. 과학기술정보통신부는 당시 행사에서 이기종 컴퓨팅 아키텍처, 국내 AI 연구센터 설립 등과 관련해 AMD와 양해각서를 체결했으며 내년에 본격적으로 사업을 구체화할 예정이다. AMD 역시 그간 관계를 이어온 망고부스트, 모레(Moreh)를 통해 국내 사업 확장에 나설 것으로 보인다.

권동업 CTO는 “AMD 본사 기술팀과 협업한 것은 3년 정도 됐고, 성능 최적화와 공동 엔지니어링 등을 진행했다. 앞서 MLPerf와 관련한 협력도 기술 협업의 일환으로 진행됐고, AMD 엔지니어링 팀으로부터 대여한 MI300 시리즈로 엔비디아 H100 대비 수 배 높은 추론 결과물을 발휘해 어드밴싱 AI에서 발표하기도 했다”라면서 “제조사 중립을 추구하긴 하나 엔비디아의 대안으로서 시장의 선택지를 늘린다는 방안에서 AMD와 적극 협력하고 있다”라고 말했다.

또한 “당시에는 AMD가 엔비디아의 유일한 대안이어서 함께했고, 현재는 AMD와 협업 중인 세레브라스와도 접촉 중이다. 2026년 현재는 국가 실증 프로젝트를 바탕으로 퓨리오사AI의 NPU, 하이퍼엑셀 LPU 등 다양한 하드웨어와도 합을 맞춰보고 있으며 국내 소버린 AI 기업들과도 각을 잡아보고 있다. 망고부스트가 소프트웨어와 네트워크, 이기종 컴퓨팅 전반을 엮는 기술을 보유했으므로 기여할 수 있는 부분이 많을 것”이라고 말했다.

DPU는 DPU로 남을 수 있을까? 권동업 CTO의 생각은

CPU의 성능은 꾸준히 높아지고, 스마트NIC과 GPU 등의 자체 네트워크 성능, 인터페이스 기술도 갈수록 진화하고 있다. 결국에는 DPU가 독립적인 프로세서 형태로 존재하지 않을지도 모르고, 망고부스트는 그 필요성을 꾸준히 증명해야 하는 상황이다. 권동업 CTO가 바라보는 앞으로 DPU의 입지는 어떨까?

권동업 CTO는 “네트워크 기술이 발전할수록 다수의 제조사가 다양한 세대의 장치를 복합적으로 연결하는 환경이 대세가 될 것이다. 연결성을 바탕으로 장치가 연결된다면 중앙에서 관제를 하더라도 보안 목적으로 관리할 필요성은 더욱 중요해질 것이고, DPU가 이를 지키는 수문장 역할을 하게 될 것이다. 최근에는 AI 게이트웨이, 에이전트 게이트웨이라고도 불리는 서비스인데 장기적으로 DPU가 스마트 스위치, 하드웨어 기반의 보안 장치로 이 입지를 가져갈 것이다. 이미 에임인텔리전스와도 관련하여 협업 중에 있기도 하다”라고 말했다.

망고부스트가 그리고 있는 큰 그림은 결국 DPU 그 너머에 있다. AMD 어드밴싱 AI에서 처음 선보인 ‘망고 인퍼런스’ 서비스는 망고부스트가 앞으로 갈 방향성을 엿볼 수 있는 대목이다. 망고부스트는 내년 1월 중 1MW 데이터센터 개소를 계획 중이고, 내년 하반기에는 최대 5MW 데이터센터 구축을 목표로 작업 중이다. 권동업 CTO는 “유럽에는 엔스케일, 미국에는 코어위브가 있지만 아시아 및 동남아 지역에는 뚜렷한 네오클라우드, 토큰팩토리 사업자가 없다. 내년 1월 1MW 데이터센터를 설립하면 소버린 AI를 위한 지원, 네오클라우드 서비스를 본격 시작할 예정이다”라고 말했다.

이어서 “내년 하반기 중에는 5MW 수준으로 확대하고, AMD 헬리오스나 엔비디아 NVL72를 포함한 하이엔드 장비부터 미드레인지 GPU, 국산 AI 가속기까지 복합적으로 운영할 계획도 가지고 있다. 망고 인퍼런스라는 브랜드를 바탕으로 망고부스트의 AI 인프라 사업 전반을 확대해나가겠다”는 뜻을 밝혔다. 망고부스트는 1MW 데이터센터를 통해 AI 인프라 사업에 대한 기술적 실현이 가능함을 증명한 상황이다. 이제는 이러한 결과물들을 바탕으로 사업 경쟁력을 만들어 나가는 단계에 접어들었다.

IT동아 남시현 기자 (sh@itdonga.com)