IEEE 스펙트럼이 현지 시각 9월 15일 추론이 AI 하드웨어 설계의 중심이 됐다는 분석 기사를 게재했다. 추론은 이미 학습을 마친 모델이 실제 요청을 받아 답을 산출하는 과정을 말한다.
무어 인사이츠 앤드 스트래티지의 맷 킴벌 수석 데이터센터 애널리스트는 “학습은 이미 지난 이야기 같다. 최고정보책임자들이 이야기하고 싶어 하는 것은 전부 추론”이라고 말했다. 그는 조직에 에이전트 100만 개를 추가할 수 있다며 “이것들은 하루 24시간 일하고 우리처럼 오후 5시에 퇴근하지 않는다”고 덧붙였다.
오픈소스 대형 언어 모델을 구동하는 엔비디아 H100 GPU가 전체 시간의 50~80%를 유휴 상태로 보낸다는 연구 결과도 기사에 인용됐다. 연산 능력이 아니라 메모리 대역폭이 병목이기 때문이다. d-매트릭스 창업자 겸 최고기술책임자 수딥 보자는 “다음 토큰을 생성하려면 모든 가중치와 앞 토큰의 맥락을 전부 읽어야 한다”고 설명했다.
d-매트릭스는 2세대 가속기 랩터에서 AI 가속기 다이를 DRAM 다이 위에 적층해 데이터 이동 거리를 밀리미터가 아닌 마이크로미터 수준으로 단축했다. 매제스틱 랩스는 반대로 메모리 인터페이스를 확장해 약 1미터 거리까지 대역폭을 유지하며 서버 랙 한 대에 최대 128테라바이트 DRAM을 지원한다. 엔비디아 GB300 NVL72 랙의 HBM3E 용량은 약 20테라바이트다. 메타에서 실리콘 엔지니어링을 총괄했던 매제스틱 랩스 공동창업자 샤리아르 라비는 “GPU 방식에서는 연산은 크게 과잉 공급되고 메모리는 굶주리게 된다”고 말했다.
엔비디아는 2025년 말 약 200억 달러(약 27조 원)를 들여 그로크(Groq)의 핵심 인력과 지식재산을 확보했고 석 달 뒤 GTC 2026에서 Groq 3 LPU를 공개했다. 이 가속기는 온다이 SRAM 500메가바이트를 부동소수점 연산 유닛에 직결해 GPU 대비 메모리 대역폭이 7배지만 연산 능력 자체는 훨씬 낮다. 세레브라스의 웨이퍼 스케일 엔진 3은 웨이퍼 한 장 전체를 칩 하나로 사용하며 트랜지스터가 4조 개를 넘고 SRAM 44기가바이트를 내장한다.
오픈AI는 GPT-5.3-코덱스-스파크 구동에 세레브라스 하드웨어를 사용해 초당 1,000토큰 이상을 출력했다. 표준 GPT-5.4의 초당 50~125토큰과 비교되는 수치다. SK하이닉스 메모리 시스템 리서치 총괄 김호식은 HBM4가 “오늘날 AI 추론을 제약하는 메모리 병목을 결정적으로 해소할 것”이라고 밝혔다. HBM4는 양산이 시작됐으며 엔비디아 베라 루빈 GPU에 적용돼 2026년 하반기 출하될 예정이다.
자세한 내용은 IEEE 스펙트럼에서 확인할 수 있다.
이미지 출처: 세레브라스
AI Matters 뉴스레터 구독하기
