[IT동아 강형석 기자] 2026년 10월 27일, 서울 AI 허브에서 'K-클라우드 테크 데이 2026'이 열렸다. 이번 행사는 K-클라우드 기술개발 사업의 대표 과제 주관기관과 참여 기업들이 한자리에 모여 연구개발 진척 상황을 점검하고 기술 교류를 나누기 위해 마련했다.

과학기술정보통신부와 정보통신기획평가원(IITP)이 추진하는 K-클라우드 기술개발 사업은 국산 AI 반도체 위에 상용 AI 컴퓨팅 인프라를 세우고 운영하는 데 쓸 데이터센터 하드웨어·소프트웨어 기술을 개발하는 것이 목표다. 반도체를 국산화하는 데서 끝내지 않고 서버와 랙, 소프트웨어, 클라우드까지 하나로 통합하겠다는 구상이다. 이 사업은 하이퍼엑셀·리벨리온 컨소시엄이 맡았다. 두 기업은 인프라와 하드웨어 연구 과제를 수행하며 분리형 인프라(Composable Infrastructure)를 구축한다. 이어 소프트웨어와 클라우드 과제의 성과를 통해 사업의 최종 결과를 검증할 예정이다.

오윤제 정보통신기획평가원 프로그램 매니저(PM)는 K-클라우드 기술개발 사업단 출범 이후 신규 대표 과제와 세부 과제가 대거 도입되면서 유지관리와 총괄 책임 업무가 한층 막중해졌다고 말했다. 그는 “하이퍼엑셀이 총괄 과제를 이끌며 클라우드와 서비스 영역까지 하나로 통합하고 있다. 과제 기획 일정이 다소 지연된 측면은 있었으나 현장 안팎에서 긍정적인 평가가 이어지고 있는 만큼, 참여 기관들이 개발 진도를 투명하게 공유하고 기술 논의를 이어가길 바란다. 어렵게 탄생한 지식과 연구 자료들이 현장에서 쓰이길 바란다”고 말했다.

하이퍼엑셀, AI 반도체 자원 독립 구축하는 ‘K-컴포저블 클러스터’ 제안

김주영 하이퍼엑셀 대표는 거대언어모델(LLM) 서비스가 폭발적으로 성장하면서 전 세계 하이퍼스케일러들이 AI 인프라 확보에 사활을 걸고 있다고 분석했다. 발표 자료에 따르면 글로벌 빅테크 기업들은 2030년까지 3조 5000억 달러(약 5000조 원) 규모의 AI 인프라 투자를 단행할 전망이다.

문제는 자본이 아니라 전력이다. 서버 수명이 다해 장비를 교체하려 해도 전력 인프라를 증설하고 인허가를 받는 데 수년이 걸려 전체 데이터센터 확장에 제동이 걸린다. 데이터센터 구축 비용에서 AI 반도체가 차지하는 비중은 30%~40%에 육박하지만, 정작 원하는 만큼 전력을 공급받지 못하는 병목 현상이 벌어지는 셈이다. AI 연산에 쓰이는 그래픽 처리장치(GPU)는 차세대 아키텍처(반도체 설계 구조)로 갈수록 랙당 요구 전력이 치솟는 상황에서 김주영 대표는 지속 가능한 AI 인프라를 위해 에너지와 비용 효율을 끌어올린 전용 칩이 시급하다고 강조했다.

하이퍼엑셀은 이 문제를 해결하기 위해 'K-컴포저블 클러스터(Composable Cluster)' 구축을 제안했다. 기존 데이터센터는 중앙처리장치(CPU)와 GPU가 한 서버 안에 고정된 채 동일한 규격으로 구축되어 있어 실제 작업 부하에 따른 자원 활용률이 낮았다. 반면, 컴포저블 클러스터는 추론용 신경망 처리장치(NPU), 학습용 NPU, CXL(Compute Express Link) 메모리, 데이터 처리장치(DPU)를 독립된 자원(Disaggregation)으로 만든다. 이후 들어오는 작업의 성격에 맞춰 필요한 자원만 실시간으로 묶어 쓰는 구조다.

시스템을 완성하기 위해 국내 기업들이 역할을 분담한다. 하이퍼엑셀은 추론용 NPU 개발을 맡고, 리벨리온은 학습 및 추론용 NPU와 원격 직접 메모리 접근(RDMA) 기반 다중 노드 연결을 담당한다. 파네시아는 CXL 기반 메모리 확장 시스템, 망고부스트는 네트워크 가속용 DPU와 랙 단위 통합을 맡았다. 데이터 처리 최적화를 위한 소프트웨어 구축(이종 AI 반도체 추상화 모델, 다중 노드 최적 배치 스케줄러)은 래블업이 맡는다.

카이스트와 네이버클라우드가 시뮬레이터 연계 개발과 클라우드 실증에 힘을 보탠다. 2차년도인 2026년, 각 기업은 개별 부품과 보드 제작을 마쳤고, 3차년도에는 서로 다른 기업의 부품을 단일 서버 안에 통합해 구동하는 이종 컴퓨팅 시스템을 완성할 계획이다.

추론 전용 가속기, 베르다로 AI 데이터센터의 고전력·고비용 고민 해결할 것

김주영 대표는 하이퍼엑셀이 독자 설계한 LLM 추론 특화 프로세서(LPU) '베르다(Bertha)'의 아키텍처도 상세히 공개했다. 현재 AI 반도체 시장은 고대역폭메모리(HBM)를 탑재한 엔비디아 GPU가 장악하고 있다. 하지만 GPU는 수천 개의 작은 코어가 배열 형태로 모여 있어, 외부 메모리에서 모델별 매개변수를 불러올 때마다 글로벌 버퍼(칩 내 예비 공간)와 코어 사이에 긴 대기 시간이 발생한다. L1·L2 캐시와 공유 메모리를 거치는 복잡한 메모리 구조 탓에 데이터가 이동하며 겪는 병목이 심하고, 결국 메모리 대역폭의 60%~65% 수준밖에 쓰지 못한다.

하이퍼엑셀은 한계를 극복하기 위해 값비싼 고대역폭 메모리(HBM) 대신 저전력 메모리인 LPDDR을 선택하고 코어 설계를 통째로 바꿨다. 수천 개의 작은 코어 대신, 하나의 거대한 코어가 트랜스포머 연산을 전담하는 '빅 코어(Big Core)' 방식을 도입한 것이다. 추가로 '스트림라인 데이터플로우(Streamline Data Flow)' 아키텍처를 적용해 모델 매개변수가 메모리를 거쳐 코어로 직결되도록 만들었다.

8개의 LPDDR 메모리 채널과 32개의 코어를 잇는 경로를 단순화하고, 중앙에 '인퍼넷(InferNet)'이라 부르는 고속 네트워크를 구축했다. 코어 하나가 데이터를 주고받으며 기다릴 필요 없이 스스로 토큰을 생성하고, 사용을 마친 매개변수는 옆 코어로 즉시 넘겨 재사용한다. 데이터가 코어의 중앙 고속도로를 따라 흐르면 토큰이 끊임없이 쏟아져 나오는 구조다. 발표 자료에 따르면 이 아키텍처는 메모리 대역폭 활용률을 평균 83%, 최대 90% 이상으로 끌어올렸으며, 부하가 몰릴 때도 변동 폭이 기존 GPU의 절반에 불과해 안정적으로 작동한다.

삼성전자 4나노미터(nm) 공정으로 설계한 베르다는 192GB 용량의 LPDDR 메모리를 탑재하고도 카드 한 장당 소비전력이 250W로 일반 GPU의 3분의 1 수준에 그친다. 카드당 목표 가격은 약 5000달러(약 670만 원)로 책정했다. 메모리 용량이 크고 단가가 낮으면 거대 모델을 구동할 때 필요한 칩 개수 자체가 줄어든다는 이점이 따른다.

김주영 대표는 “235B(2350억 개 매개변수) 규모 모델을 구동할 때 엔비디아 H200은 9장이 필요해 약 36만 달러가 들지만, 베르다는 5장~7장으로 감당할 수 있어 초기 설비 투자비(CapEx)를 1/10 수준으로 낮추고 전력 운영비(OpEx)도 1/3 가량 절감할 수 있다”고 설명했다.

하이퍼엑셀은 서버에 베르다 카드 8장을 장착해 테스트한 결과에서도 엔비디아 RTX 프로 시스템 대비 2.1배 높은 처리량(초당 1000 토큰 이상)과 2.7배에서 최대 8.7배에 달하는 전력 및 가격 대비 성능을 기록했다. 소프트웨어 측면에서도 오픈소스 추론 엔진인 vLLM 및 파이토치(PyTorch)와 호환되며, 자체 도메인 특화 언어(DSL)를 제공해 개발자가 작성한 코드를 NPU 커널로 자동 변환해 준다.

하이퍼엑셀은 2026년 3월, 베르다 엔지니어링 샘플을 수령해 전원 인가부터 운영체제, vLLM 소프트웨어 탑재까지 마치는 브링업(Bring-up) 작업을 끝냈다. 현재 서버 한 대에 칩을 4장부터 8장까지 장착해 네이버클라우드와 개념검증(PoC)을 진행하고 있으며, 전략적 투자를 단행한 통신사 및 타 클라우드 기업들과도 협력을 넓히고 있다. 메모리 가격 폭등 속에서도 삼성전자 LPDDR5X 칩을 일부 확보해 신규 보드를 제작하고 있으며, 2027년 1월~2월경 시제품 시스템을 선보일 계획이다.

이 외에도 용량이 큰 베르다를 입력 처리(프리필)에 배치하고 고대역폭 기반 GPU를 출력 생성(디코드)에 결합하는 혼합 구성을 통해 시스템 전체 성능을 3배까지 높이는 기술도 2026년 말을 목표로 개발하고 있다.

K-클라우드 기술개발 사업 성공은 이기종 연산 성과에 달렸다

이어진 발표에서는 김태수 스퀴즈비츠 최고기술책임자(CTO)가 연단에 올라 리벨리온과 함께 수행 중인 과제의 연구 성과를 공유했다. 이 과제는 앞서 소개한 컴포저블 클러스터 위에서 구동할 가속 라이브러리를 완성하고 검증하는 프로젝트다. 하이퍼엑셀과 리벨리온, 스퀴즈비츠, 모레, 서울대학교 등이 손잡고 연구를 진행하고 있다. 하이퍼엑셀이 추론용 라이브러리를 보강하는 동안 스퀴즈비츠와 리벨리온은 국산 NPU 환경에서 거대 모델을 직접 학습시킬 때 발생하는 문제를 찾고 이를 검증하는 프레임워크와 데이터셋을 구축하고 있다.

김태수 CTO는 '학습 일치성 검증'에 대한 이야기를 꺼냈다. 보통 추론 단계의 검증은 이미 GPU에서 학습을 마친 모델의 가중치(Weight)를 고정해 두고, 국산 NPU에 동일한 입력을 넣었을 때 출력 품질이 떨어지지 않는지 확인하면 끝난다. 하지만 학습 단계로 넘어가면 변수가 생긴다. 학습은 데이터를 넣어 추론(Forward) 한 뒤, 정답과의 차이를 계산해 가중치를 수정하는 역전파(Backward) 과정을 수없이 반복한다. 이 과정에서 아주 미세한 오차라도 발생하면 그 오차가 가중치 업데이트에 반영되고, 수정된 가중치가 다음 단계의 입력에 다시 영향을 미치면서 결국 기존 GPU에서 학습한 궤적과 달라진다.

왜 같은 모델에 같은 데이터를 넣어도 하드웨어마다 다른 결과가 나올까? 원인은 컴퓨터의 부동소수점(Floating Point) 연산이 수학의 결합법칙을 완벽히 따르지 않는 데 있다. 최근 AI 업계는 연산 속도를 높이기 위해 32비트(FP32) 대신 16비트(FP16, BF16)나 8비트(FP8) 같은 저정밀도 데이터 형식을 즐겨 쓴다. 표현할 수 있는 숫자의 범위와 정밀도가 다르다 보니 계산할 때마다 수치를 반올림하는 과정에서 미세한 오차가 생긴다. 심지어 같은 종류의 GPU 안에서도 어떤 연산 라이브러리를 쓰는지, 데이터를 쪼개는 타일 크기나 병렬 처리 순서를 어떻게 설정하는지에 따라 결과값이 달라진다.

이 작은 반올림 오차는 거대한 행렬 곱셈을 거치며 눈덩이처럼 불어난다. 언어 모델은 앞선 토큰의 정보를 바탕으로 다음 토큰을 생성하기 때문에 문장 길이(시퀀스)가 길어질수록 오차가 중첩되어 나중에는 서로 다른 하드웨어가 내놓는 토큰 확률 분포가 크게 벌어진다.

이러한 하드웨어 간 불일치는 최신 AI 모델의 성능을 좌우하는 강화학습(RL)과 미세조정(Fine-tuning) 단계에서 치명적인 문제가 된다. 최근 미국과 중국의 최신 모델들이 동일한 크기와 구조에서도 3개월~6개월 만에 성능 향상을 이루는 비결은 정교한 강화학습과 데이터 품질에 있다.

강화학습을 할 때는 로컬 추론 장치에서 대량의 데이터를 생성(Rollout)한 뒤, 이를 학습 장치로 가져와 모델의 가중치를 업데이트한다. 만약 추론을 수행한 NPU와 업데이트를 담당하는 GPU 사이에 연산 정밀도나 커널 처리 방식이 미세하게 다르면, 업데이트 장치가 의도하지 않은 확률 값이 매겨지면서 기울기(Gradient)가 한쪽으로 몰리는 편향 현상이 발생한다. 이 때문에 피드백 루프가 무너지며 학습 자체에 영향을 주는 것이다. 서로 다른 세대의 GPU를 섞어 쓰지 못하고 동일한 기종으로만 클러스터를 묶거나, 정밀도 차이를 보정하는 기법을 연구하는 이유가 여기에 있다.

스퀴즈비츠는 리벨리온의 NPU에서 이 문제를 해결하기 위해 'GPU 기반 병렬 시뮬레이터(디지털 트윈)'를 구축했다. NPU는 하드웨어 내부의 병렬 처리 구조와 커널이 고정되어 있어 사용자가 임의로 연산 방식을 뜯어고치기 어렵다. 또한 학습 과정은 데이터 배치가 크고 역전파까지 수행해야 하므로 비트 단위로 느리게 작동하는 일반 시뮬레이터로는 방대한 학습 과정을 검증할 수 없다.

이에 리벨리온 NPU의 비트 정밀도와 덧셈 순서, 중간값 처리 방식을 그대로 모사하면서도 GPU 위에서 고속 병렬로 돌아가는 시뮬레이터를 완성했다는 게 김태수 CTO의 설명이다. 스퀴즈비츠 연구진은 약 100개의 연산 환경 중 가장 빈번하고 중요한 연산 7종을 우선 선정해 시뮬레이터와 실제 리벨리온 NPU의 동작을 비교했다고 밝혔다. 자료에 따르면 시뮬레이터와 실제 하드웨어 간의 추론 오차는 0.001 이하를 기록해 높은 일치성을 입증했다. 텐서 크기가 커질 때 메모리나 합산 과정에서 나타나는 특이 현상까지 스케줄러 옵션에 반영하며 정밀도를 다듬었다는 점도 덧붙였다.

스퀴즈비츠 연구진은 검증의 객관성을 확보하기 위해 가중치만 공개된 모델 대신, 학습 데이터셋과 모델 구조, 학습 중간 단계의 체크포인트가 모두 투명하게 공개된 개방형 모델 '올모(OLMo)'를 기준으로 삼았다. 이를 바탕으로 백지상태에서 처음부터 학습을 시작하는 프롬 스크래치 트레이닝(From Scratch Training)과 기존 GPU로 학습하던 체크포인트를 이어받아 NPU에서 추가 학습을 진행하는 연속 학습(Continual Training) 두 갈래로 검증을 진행하고 있다. GPU로 학습하던 모델을 도중에 NPU로 옮겨 학습하더라도 손실(Loss) 곡선이 자극받지 않고 원래의 학습 궤적을 그대로 따라가는지 확인하는 작업이다. 현재 1B(10억 개 매개변수) 모델의 지도 미세 조정(SFT) 검증을 마쳤으며, 7B와 10B 규모 모델의 프롬 스크래치 트레이닝으로 검증 범위를 확장하고 있다.

김태수 CTO는 “하드웨어 간의 미세한 수치 차이가 추론 지연 시간과 최종 학습 품질을 좌우하는 만큼, 이를 정량화하고 사전 검증하는 프레임워크가 국산 AI 반도체 상용화의 밑거름이 될 것”이라고 말했다.

IT동아 강형석 기자 (redbk@itdonga.com)