[IT동아 남시현 기자]

“AI 반도체는 아무리 잘 설계되어도 실제 수요처에서 안 쓰이면 의미가 없습니다. 또한 정형화된 벤치마크가 아닌 실제 서비스와 작업 시 좋은 성능을 내야 가치가 있습니다. 하이퍼엑셀은 실제 서비스에서 잘 동작하는 반도체를 만들기 위해 반도체 설계 단계부터 수요기업, 그중에서도 네이버클라우드와 긴밀하게 협력해 왔으며, 에뮬레이터 장비를 통해 실제 환경을 위한 소프트웨어 개발 도구를 개발 중입니다”

좋은 연장이 빛을 발하려면 솜씨 좋은 장인이 필요한 법이다. 둘 중 하나라도 수준이 맞지 않으면 성과를 내기 힘든 게 오늘날 인공지능(AI) 시장의 흐름이다. 김주영 하이퍼엑셀 대표는 ‘솜씨 좋은 장인을 위한 쓰기 좋은 도구’를 만드는 사람이다. 김주영 대표는 KAIST 전기전자공학부 교수로 지난 2023년 1월에 하이퍼엑셀을 설립했다.

그는 2010년부터 마이크로소프트 리서치와 MS 클라우드 애저(Azure)에서 근무하며 AI 반도체가 세상에 가져올 변화를 목격했다. 2019년부터는 학계에 몸담으며 트랜스포머 모델이 AI 업계에 미치는 영향에 관심을 가졌고, 트랜스포머 추론 연산에 최적화된 프로세서 기술을 개발한 뒤 FPGA(프로그래밍 가능한 반도체)로 시제품 구축에 성공했다. 그러다 2023년 챗GPT가 등장하자 추론용 반도체 시장의 등장을 예감하고 하이퍼엑셀을 창업하게 됐다. 특히 FPGA 기반 시제품을 본 AMD가 공동 개발을 제안하면서 시장에 더 확신을 가지고 뛰어들었다.

김주영 대표에게 직접 듣는 대형언어모델(LLM)용 반도체 LPU 이야기

하이퍼엑셀은 2023년 창업 이후 현재 FPGA 기반 LPU(LLM 프로세싱 유닛)인 오리온을 출시했고, 현재 다음 세대 제품인 베르다 개발에 한창이다. 우선 오리온의 그간 도입 사례와 성과, 그리고 베르다의 진행 상황에 대해 각각 물었다.

김주영 대표는 “FPGA 기반 LPU 제품 판매는 한국전자통신연구원(ETRI), 한국전자기술연구원(KETI) 등 국책 연구소 등에 제공됐다. FPGA는 연산 용량에 한계가 있어 구축형으로 운용하는 조건에 제공하며, 하반기에는 민원 AI 서비스를 개발하는 트러스트랩과 함께 소프트웨어 및 하드웨어가 결합된 서비스를 공동 개발해 정부 및 기관 등에 판매할 계획이다”라고 정리했다.

차세대 반도체는 추론에 최적화된 제품이다. 김주영 대표는 “GPU는 데이터를 병렬로 처리하므로 AI를 개발하는 학습 연산에 유리하다. 연산의 복잡도도 추론보다 학습이 훨씬 복잡하다. 이 영역은 GPU를 따라갈 수 없다. 하지만 학습된 모델에 새로운 입력을 넣어서 반복적인 결과를 얻어내는 추론은 연산보다도 메모리 대역폭 활용이 더 중요하다. 그래서 메모리 반도체 효율을 고려한 LLM 프로세싱 유닛을 설계했다”라고 소개했다.

이어서 “2세대 LPU인 베르다는 올해 4월에 설계를 끝냈고, 설계도를 물리 회로로 구현하는 로직 합성과 기판에 칩을 배치하는 과정을 거쳐 삼성 파운드리에서 4나노미터 공정으로 제조한다. 내년 상반기 중에는 엔지니어링 샘플을 기반으로 네이버클라우드에서 개념증명(PoC)을 진행하고, 검증이 끝나면 내년 하반기부터 대량 생산에 돌입한다”라고 설명했다.

“하이퍼엑셀 LPU, 구조부터 추론 최적화 맞췄다“

여전히 AI 업계에서 엔비디아의 GPU가 대세긴 하나, 국내외 AI 반도체들도 추론 영역으로 도입 범위를 넓히고 있다. 특히 각 반도체 기업마다 최적화된 추론 영역을 제시하며 각자의 시장을 공략 중이다. 하이퍼엑셀 LPU의 구조적 특징을 물었다. 김주영 대표는 “GPU는 수많은 쿠다 코어가 집적된 연산 위주의 처리 장치다. 데이터를 가져와 칩 메모리에 탑재하고, 병렬 연산을 통해 빠르게 계산하는 구조다. 데이터를 온칩 메모리에 넣고 쓰고 읽기를 반복한다”라고 GPU의 기본 구조를 설명했다.

이어서 “LPU는 LLM 추론 연산 성능을 결정하는 초당 데이터의 이동량을 최적화한 프로세서다. 스트림라인드 데이터플로(Streamlined Dataflow)라는 독자 기술이 적용된 LPU 코어를 통해 데이터의 불필요한 이동을 최적화했다. 모델 데이터가 여러 개의 LPU 코어에 입력되면 각각의 코어가 추론 결과물을 산출하는 특수 구조다. 일반적인 GPU는 최적화를 거쳐도 메모리 성능의 50~60% 수준만 지원하나, LPU는 외부 메모리에서 데이터를 가져와 실제 매트릭스와 벡터 연산기까지의 대역폭 손해나 데이터 변환 없이 바로 연결하는 스트림라인드 메모리 액세스(SMA)라는 기술요소를 적용해 메모리 최대 대역폭의 약 90%까지 달성할 수 있다”라고 설명했다.

김주영 대표는 이해를 돕기 위해 AI 반도체의 작업 처리 과정을 공장에 비유했다. 메모리 반도체는 데이터를 저장하는 공간으로 원자재 창고라 할 수 있다. 칩 등으로 구성된 로직 다이는 실제 조립이 이뤄지는 작업장이다. GPU는 거대한 공장에 수천 명의 작업자가 있고, 이들은 어떤 작업이든 잘 수행한다. 곰인형을 만드는 간단한 작업부터 자동차 조립 같은 복잡한 제조까지도 모두 대응한다. 그렇지만 모든 작업은 순서대로 해야 하고, 이로 인해 GPU 원자재 창고로부터 작업장으로 이동하는 공장 내 라인에 병목이 발생한다. 반면 LPU는 특수한 작업에 최적화된 특화된 생산 라인을 갖춰 원자재에서 작업장까지의 병목을 크게 줄였다.

HBM 대세인 줄 알았는데 LPDDR을 도입한 이유는?

주목할만한 부분은 고대역폭메모리(HBM)가 아닌 저전력 메모리인 LPDDR5X의 활용이다. 최근 AI 반도체는 고용량 메모리 확보를 위해 HBM을 도입하는 게 대세인데, 베르다는 모바일 기기 등에 쓰이는 메모리를 활용한다. 김주영 대표는 “LPDDR5X를 탑재하는 이유는 고용량 확보, 저전력 성능, 안정적 공급 및 가격 세 가지다. 엔비디아 H100 GPU는 80GB HBM을 사용하는데 자사 LPU는 128GB LPDDR 메모리를 장착할 예정이다. 만약 60B(600억 개) 매개변수 모델을 구동하려면 120GB의 메모리가 필요한데 H100을 쓰면 두 대가 필요하고, LPU는 128GB 모델 하나로도 대응한다”라고 설명했다.

저전력 및 수요 측면은 “LPDDR은 말 그대로 Low Power DDR 메모리로 HBM 대비 전력 소비량이 적다. 전력 소모는 데이터센터 건립부터 운영에 주요한 요소다. 또한 HBM은 수요는 많지만 공급량은 충분치 않아 수급 불균형으로 인한 제품 지연, 공급 가격 상승 등의 여지가 있다. 반면 LPDDR은 반도체 외 산업에서 폭넓게 쓰여 공급도 용이하고 가격도 안정적이다. 비용 측면에서도 1GB당 가격으로 환산 시 HBM 대비 3분의 1에서 5분의 1 수준으로 저렴하고, 최신 공정이 동원되지 않아 추후 제조 단가를 낮추는데도 도움이 된다”라고 설명했다.

덧붙여 “LPDDR은 여러 장점이 있긴 하지만 전송 속도와 대역폭 측면에서는 상대적으로 약하다. 이 부분은 하이퍼엑셀의 LPU 기술과 처리 과정 효율성(Batch) 재고 등으로 최대한 극복할 생각이며, 경제적인 가격으로 시장을 공략하는 전략으로 가는 것”라고 설명했다.

차세대 반도체, GPU 대비 10배 가성비·5배 높은 와트당 성능 나올듯

AI 반도체가 GPU의 대체재가 될 수 있는가는 업계 전반에 제시된 숙제다. 하이퍼엑셀이 2023년 출시한 FPGA 서버 오리온도 엔비디아의 H100 대비 1.33배, L4 대비 1.32배 높은 에너지 효율을 달성했지만, 지금은 더 성능이 높은 블랙웰이 등장하며 업데이트가 필요한 상황이다. 하이퍼엑셀은 내년에 출시할 4nm급 ASIC로 시장의 환기를 노린다.

김주영 대표는 “삼성 4나노미터 공정으로 개발 중인 LPU ASIC 반도체는 FP16, FP8, FP4, BF16, INT8, INT4 등 양자화에 필요한 다양한 정밀도를 지원한다. 기존에 모델의 매개변수를 양자화하는 기술은 많았는데, 계산 정보를 재활용하는 KV캐시까지 양자화하는 기술을 개발 중”이라면서 “4nm ASIC은 GPU 대비 10배 이상 높은 가격대 성능비, 그리고 5배 수준의 전력 소모대 성능비를 거둘 것으로 본다. 스트림라인드 데이터플로 구조, HBM 대신 LPDDR5X 채택, LLM 추론에 특화된 LPU 엔진을 조합한 결과다.

하이퍼엑셀의 4nm ASIC은 시청각 데이터 등을 복합적으로 분석하는 멀티모달을 지원하는 LLM, AI로 결정 단계까지 자동화하는 에이전트 AI까지 모두 지원할 예정이며, 스테이블 디퓨전도 대응한다. 추후에는 네트워크 연결 없이도 독자적으로 구동되는 온디바이스 AI용 장치로도 도입될 것을 고려하고 있다. 서버용 제품은 이미 설계가 됐으니 추후에는 개발된 LPU 엔진을 활용해 온디바이스 LLM 시제품을 빠르게 출시할 것으로 본다.

단순 성능 및 효율뿐만 아니라 현장에서의 활용도를 높이기 위한 소프트웨어 지원도 놓치지 않았다. 김주영 대표는 “하이퍼덱스(HyperDex)는 다수의 장치로 모델을 나눠서 탑재하는 모델 병렬화 레이어, 각 모델을 장치에 맞게 변환하는 모델 매퍼, LPU가 모델 연산을 처리하기 위해 명령어를 생성하는 LPU 컴파일러, 다수의 LPU를 구동하는데 필요한 디바이스 런타임과 드라이버 등이 모두 포함된 소프트웨어 체계”라고 설명했다.

이어서 ”하이퍼덱스 SDK는 최신 소프트웨어 프레임워크와 모두 호환되며, 허깅페이스에 모델이 등록만 돼있으면 연동할 수 있다”라면서, “파이토치를 활용한 컴파일도 지원하며, 더 많은 이들이 LPU 컴퓨팅을 쓸 수 있도록 올해 중 협력사부터 SDK를 제공할 예정이다”라고 덧붙였다.

GPU, NPU, LPU, DPU 어우러지는 이기종 반도체 시장 올 것

내년에 본격적으로 차세대 반도체가 출시될 예정인 만큼 올해는 개발과 제품 실증에 주력한다. 그렇지만 AI 반도체의 활용 사례 확보를 위해 꾸준히 노력 중이다. 김주영 대표는 “올해 초 하이퍼엑셀은 과기정통부가 주관하는 K클라우드 개발 사업의 총괄 과제를 수주했다. 이 과제는 국산 AI를 실제 데이터센터 서비스로 구현하며, MLPerf 추론 에너지 효율 항목에서 세계 3위를 달성하는 것이다. MLPerf가 하드웨어 기반에 초점을 맞춰 실제 서비스 환경과는 동떨어진 테스트라는 얘기는 있지만 현시점에서는 가장 변별력, 공신력을 갖춘 시험이다. 추후 네이버클라우드와 협업해 실제 서비스 환경에서 AI 반도체의 성능을 측정하는 테스트 환경도 구축해 낼 것”이라 답했다.

마지막으로 김주영 대표는 “모든 부분에서 엔비디아의 GPU를 이길 필요는 없다. 우리가 생각하는 미래의 AI 시스템은 GPU, NPU(신경망 처리 장치), LPU, DPU(데이터 처리 장치) 등 다양한 특화 반도체가 어우러져 최적의 비용으로 최고의 성능을 내는 이기종 반도체 결합이 필수가 될 것이다. 여전히 GPU가 단독 질주를 하고 있지만, 다른 제품들과 발맞춰야 하는 시점이 올 것이다. 하이퍼엑셀의 LPU가 이기종컴퓨팅 환경에서 꼭 필요한 기업으로 인정받도록 노력할 것이며, 기존 컴퓨팅 플랫폼의 비용과 전력을 획기적으로 낮출 수 있는 설루션을 이뤄내 보겠다”라는 포부를 밝혔다.

IT동아 남시현 기자 (sh@itdonga.com)