[IT동아 남시현 기자] AMD가 지난 8월 6일, AI 추론용 반도체 기업 탈라스(Taalas) 인수 소식을 밝혔다. 탈라스는 캐나다의 AI 반도체 기업으로 AI 모델의 가중치 자체를 반도체에 인쇄하는 구조화된 주문형 반도체(Structured ASIC) 전문 기업이다. 기존의 AI 가속기가 가중치를 메모리 위에 불러온 뒤에 추론 작업을 하는 방식이라면 탈라스의 HC2 ASIC은 반도체 자체에 가중치가 새겨져있어 즉시 추론을 이행할 수 있다. 이번 인수의 구체적인 조건은 공개되지 않았으나 제품 포트폴리오를 AMD에 추가하기 위한 기업 인수며 올해 안에는 인수가 완료될 예정이다.

탈라스, 반도체에 가중치 인쇄해 AI 병목 제거

탈라스는 텐스토렌트의 공동창업자이자 전임 최고경영자인 류비사 바지치(Ljubisa Bajic)가 설립했다. 탈라스의 핵심은 반도체 제조의 핵심 단계인 노광 단계에서 가중치 회로의 금속 배전에 물리적으로 하드 와이어링 한다. 즉 반도체 실리콘에 AI 가중치를 인쇄해 AI 추론의 구조 자체를 바꾸는 것이다. 기존의 AI 가속기는 학습이 완료된 모델을 메모리 위에 얹은 상태에서 추론 작업을 진행한다. 따라서 모델의 크기가 크면 클수록 메모리 용량이 큰 가속기가 필요하고 향후 재시동 시 다시 모델을 불러와야 하는 번거로움이 있다. 이에 따른 소비전력이나 시간적 소요 등도 비용으로 볼 수 있다.

반면 탈라스는 반도체 칩 자체에 매개변수를 각인하며, 고정된 학습 가중치를 새겨 넣는 마스크-ROM 리콜 패브릭과 동적으로 변동되는 연산 데이터를 처리하는 SRAM 리콜 패브릭 두 영역으로 나뉜다. 마스크-ROM 리콜 패브릭은 모델의 사전 학습 가중치를 실리콘 위의 금속 배전에 영구 각인한 방식이며, 1세대 HC1 칩은 메타의 라마 3.1 8B를 새겨넣었다. SRAM 리콜 패브릭은 추론 과정에서 실시간으로 변하는 KV캐시, 세부 내용을 가볍게 수정하는 저순위 적용 등의 값을 읽기 및 쓰기한다.

올해 2월 공개한 1세대 칩 탈라스 HC1은 메타 라마 3 8B 모델을 기존 고성능 AI 가속기보다 10배 이상 빠르면서 전력 소비량은 10배나 적고 구축 비용은 20배나 적다. 동일 모델을 처리할 때 엔비디아 H200의 경우 초당 230토큰, B200가 353토큰, 세레브라스가 1981토큰을 생성하는데 탈라스 HC1은 1만 6960토큰을 생성했다. 다만 1세대 설계 당시 모델 양자화에 대한 형식 표준이 제대로 잡혀있지 않아 3비트 양자화와 6비트 매개변수를 결합 사용했고 다른 GPU 장치보다 정확성은 조금 떨어진다. 2세대 HC2부터는 4비트 부동소수점 표준을 활용해 정확성 문제가 크게 개선될 예정이다.

탈라스의 HC1이 엔비디아 B200, 세레브라스 WSE-3를 수십배 압도할 수 있었던 배경은 매개변수가 칩 그 자체에 있으므로 병목이 없고, KV 캐시 등 유동 데이터도 초당 수십TB의 SRAM으로 처리했기 때문이다. 레스토랑에 비유하자면 일반 AI 가속기는 주방과 식재료 창고가 떨어져있는 레스토랑, 탈라스 칩은 완제품 자동화 밀키트에 가깝다. 일반 AI 가속기는 주문이 들어올때마다 창고에 가서 식재료를 하나하나 옮겨온 뒤 요리를 만들어야하지만 탈라스는 조리대 위에 모든 재료가 가공된 채로 올라가있어 주문과 동시에 요리가 완성된다. 대신 주문 가능한 메뉴가 단 하나일 뿐이다.

한 번 인쇄하면 끝··· AI 업계 속도 따라갈지가 관건

하지만 탈라스의 칩은 두 가지 치명적인 문제가 있다. 반도체 칩 자체에서 구동할 수 있는 모델이 고정돼 있다는 점, 2세대 칩도 매개변수가 20B 급으로 명확한 한계가 있다. 범용 GPU가 모델 학습은 물론 추론까지 자유자재로 가능한 반면 탈레스의 칩은 처음에 각인한 모델 단 하나만 쓸 수 있다. 즉 모델이 구형으로 더 이상 활용되지 않거나 새로운 모델이 등장하면 즉시 구형 모델 전용 반도체가 된다. 탈라스는 새로운 모델을 새기는 비용이 선진 모델 학습 비용의 100분의 1 수준이어서 특정 모델 하나만 잘 인쇄하면 장기적으로 경제성이 충분하다고 주장한다.

탈라스 측은 매번 칩을 설계할 필요 없이 두 개의 금속 레이어 층만 새로 설계하면 돼 빠르게 신규 모델을 적용할 수 있다고는 하나 최신 고성능 모델이 두세 달마다 나오는 상황이다. 앤트로픽 미토스나 오픈AI 아스트라처럼 시장의 흐름을 근본적으로 전환하는 모델이 몇 개월 단위로 나오는 상황이어서 아무리 칩이 빨리 나오더라도 모델 자체가 구형이 되어있을 수 있다.

매개변수의 한계는 칩을 병렬로 연동하는 방식으로 해결한다. HC2 하나에는 200억 개의 매개변수만 기록할 수 있지만 1조 개 매개변수를 구동하기 위해 50개의 HC2에 각각 나눠서 가중치를 인쇄하면 1000B 모델을 구동할 수 있다. 수십 개의 칩 만으로 대규모 모델을 일반 GPU 대비 20배 이상 빠른 속도로 토큰을 생성한다는 점은 상당한 수요가 있을 것이다. 하지만 현 세대 AI 모델의 흐름이 전문가 모델(MoE)로 바뀐 점도 발목을 잡는다. 최신 AI 모델들은 매개변수를 완전히 다 활용하지 않고 질문에 맞는 부분만 활성화해 동작 효율을 높였다. 하지만 탈라스의 칩은 MoE와 무관하게 매개변수 전체를 인쇄해야 한다.

AMD, 헬리오스 넘어 피지컬 AI, 엣지 AI 확산 노리나

AMD가 탈라스를 인수하면서 하드웨어 포트폴리오의 선택지가 하나 더 늘어날 전망이다. AMD는 지난 2020년 자일링스(Xilinx) 인수를 통해 FPGA(프로그래밍 가능한 반도체) 시장에 진출했으며 2022년 펜산도 인수를 통해 포트폴리오 내에 DPU(데이터 처리 장치)를 추가했고, 2024년 ZT시스템 인수를 통해 데이터센터 서버 및 AI 인프라 설계 시장까지 진출했다. 지난달 AMD가 공개한 AMD 헬리오스 서버 렉은 이때 인수한 포트폴리오를 모두 합친 결과물이다. 탈라스는 시스템 구성에 필수 반도체는 아니므로 ‘애드온’ 형태로 포트폴리오에 추가될 전망이다.

특히 AMD가 오픈AI, 앤트로픽, 메타 등 대형언어모델을 서비스하는 AI 기업과 납품 계약을 맺은 점은 탈라스의 효율을 극대화하기에 좋다. 탈라스 반도체가 단일 모델에서만 최적의 효율을 내긴 하나 빅테크 AI 기업들은 단일 모델로도 규모의 경제를 충분히 실현할 수 있다. 가령 무료로 제공하는 기본 AI 모델의 추론 비용을 극도로 낮춘다거나 API로 제공하는 라이트 모델 등을 효율화할 수 있을 것이다.

피지컬 AI 측면에서는 향후 활용 가치가 높다. AMD는 지난 7월 열린 어드밴싱AI에서 임베디드, 엣지, 클라우드 로봇 설루션 생태계를 구축하기 위한 ‘AMD 로보틱스 파트너 네트워크’를 발표했다. 현재 피지컬 AI 장치들은 Arm, 미디어텍 등 소형 SoC 칩을 탑재해 핵심 작업만 처리하고, 대화형 AI나 사물인식 등은 매우 낮은 수준에서 처리하거나 클라우드 연결로 처리한다. 이런 조건에 탈라스의 HC2 등의 칩을 장착하면 온디바이스 AI 환경에서 클라우드 기반 AI보다 훨씬 빠르고 저전력으로 AI를 구현할 수 있다. 이렇게 되면 활용도가 무궁무진해진다.

장기적으로는 AI 모델 양자화를 통해 HC2 칩에 20B 이상 더 많은 매개변수를 갖춘 AI 모델을 탑재하게 될 것이고, 칩 하나로 구현할 수 있는 AI의 성능도 훨씬 좋아질 것이다. 하지만 AI 속도전에서 어떤 모델을 선택하는가가 회사의 생존력과 서비스 결과를 결정하는 요인이 된다는 점은 다소 위험 요소다. AMD도 이 점을 모르지는 않겠지만 주판을 두드려봤을 때 충분히 가치 있는 선택지라는 결론에 도달했을 것이다.

IT동아 남시현 기자 (sh@itdonga.com)