당시 젠슨 황 엔비디아 최고경영자는 미래에는 그래픽 카드가 게임이 아닌 연산 전용 장치로 쓰일 것이라는 비전을 제시했고, 엔비디아 GPU 상의 부동소수점 구현이 IEEE(전기전자공학자협회) 표준에 가깝도록 구성했다. 엔비디아 그래픽 카드로 처리할 수 있는 작업의 궤가 넓어지자 많은 프로그램들이 엔비디아 쿠다를 기반으로 구축되기 시작했고, 엔비디아의 GPGPU 기술은 관련 연산이 필요한 거의 모든 작업에 표준처럼 쓰이게 됐다.

10여 년이 지난 지금, GPU는 모든 고성능 컴퓨팅 작업에 쓰인다. 대규모로 데이터를 병렬 처리할 수 있어서 데이터 서버 같은 가속 컴퓨팅 체계로 만들고, 과학이나 금융, 인공지능, 시뮬레이션, 데이터 분석 등 모든 분야의 연산 처리에 사용한다. 엔비디아 그래픽 카드가 품귀인 이유도 대규모 가속 컴퓨팅을 구축하기 위한 기반 장치이기 때문이다.

범용 목적으로 쓰이는 GPU··· 전력 효율은 나빠

GPGPU의 가장 큰 장점은 연산 처리가 필요한 어떤 작업에든 대응한다는 점이다. 지금도 AI와 기계학습은 물론 과학 연구와 시뮬레이션, 게임 및 그래픽, 클라우드 컴퓨팅 등 쓰이지 않는 분야가 없다. 하지만 여기에는 대가가 따른다. 엔비디아 GPU의 처리 성능이 우수한 건 맞지만, 전력 효율성보다는 최고 성능을 높이는 쪽에 초점을 맞추고 있다.

GPU는 원래 그래픽 연산 처리를 위해 설계된 반도체라서 인공지능 등을 처리할 때 데이터의 병목 현상과 처리 방식, 다양한 형태의 텐서 처리 시의 효율성 저하, 메모리 대역폭으로 인한 한계 등이 발생한다. 현재 개발된 AI 가속기 중 가장 성능이 높지만, 효율성보다는 더 많은 전력을 인가하고 더 발전된 설계와 큰 칩을 사용한 결과다. 이 때문에 마이크로소프트는 인공지능 개발에 필요한 전력을 조달하기 위해 소형모듈원전(SMR)을 개발할 정도다.

대안으로 떠오르는 것이 바로 신경망 처리 장치, NPU다. NPU는 두뇌의 동작 방식을 모방해 만든 반도체로, 심화학습(딥러닝) 같은 특정 인공지능 처리에 특화돼 있다. GPU처럼 다목적으로 쓰기는 어렵지만, 행렬곱이나 합성곱 등에 최적화한 아키텍처로 특정 AI 작업에 최적화된 전력 효율성을 발휘하며, 같은 전력을 인가했을 때 성능이 더 높다. 국내에서는 퓨리오사AI 워보이, 리벨리온 아톰이 대표적이며, 해외에서도 세레브라스나 텐스토렌트 등이 시장을 개척하고 있다.

퓨리오사AI, 텐서 축약 프로세서(TCP)로 새로운 가능성 제시

하지만 NPU의 가장 큰 한계는 제한된 활용 방식이다. 퓨리오사AI의 1세대 반도체인 워보이는 비전인식 추론에 최적화된 제품이고, 리벨리온 아톰도 비전인식, 자연어 처리 등 추론에 최적화돼있다. 텐스토렌트의 NPU도 비전인식, 자연어 처리, 로봇 제어 등에 초점을 맞추고 있고, 한계를 해결하고자 프로그래밍이 가능한 RISC-V도 함께 만들고 있다. 이런 상황 속에서 퓨리오사AI는 텐서 축약 프로세서(Tensor Contraction Processor, TCP) 방식을 채택해 시장에 새로운 가능성을 제시하고 나선다.

퓨리오사AI는 현지시간으로 6월 29일에서 7월 3일 개최되는 국제 컴퓨터 아키텍처 심포지엄(ISCA)에서 2세대 반도체 ‘레니게이드’의 핵심 처리 방식과 기술 이력을 담은 ‘TCP : AI용 텐서 축약 프로세서 워크로드’ 논문을 발표한다. ISCA는 미국 전기전자공학회(IEEE), 전산공학회(ACM)가 주최하는 세계 최고 권위의 컴퓨터 기술 심포지엄이다.

해당 논문은 김한준 퓨리오사AI CTO 외 47명이 참여했으며, 앞서 6월 10일 서울대학교 컴퓨터공학부에서 발표됐다. 소속기관은 퓨리오사AI와 포르투갈 고급 연구 개발 비영리 단체 INESC‑ID, 리스본 공과대학, 서울대학교가 기재됐다.

퓨리오사AI가 제안하는 TCP는 텐서 축약을 기본 단위로 처리하고, 데이터를 재사용해 인공지능 처리 성능을 끌어올린다. 텐서는 데이터를 여러 차원으로 나눠서 담고 있는 구성이고, 차원 일부를 줄여 더 작은 차원으로 만드는 게 텐서 축약이다. GPU는 텐서를 축약할 때 행렬 곱셈으로 매핑하는데, 이는 텐서 축약 자체의 병렬성과 데이터 지역성을 완전히 살리지 못하고, 또 가속기의 처리 단위 크기가 작으면 데이터 재사용 범위가 제한되고, 다양한 유형과 모양의 텐서를 처리할 수 없어 효율이 떨어진다.

TCP는 텐서 축약 자체를 처리한다. 덕분에 대규모 병렬 작업도 가능하고, 슬라이스라는 더 작은 단위로 분할해 텐서 처리의 유연성을 끌어올린다. 또한 소규모 작업과 고성능 컴퓨팅 등 다양한 규모의 텐서 처리를 위해 프로세싱 엘리먼트(PE)인 연산 소자를 다양한 규모로 8개를 배치했다. 또한 기존의 GPU는 데이터를 재사용하는데 한계가 있고, 반복 사용 시 병목을 일으키지만 TCP는 그 자체로 데이터를 재사용하고, 효율적으로 전달하는 구조로 설계됐다.

아울러 고급 컴파일러를 통해 활용 환경에 맞춰 텐서 연산을 최적화한다. 처리 모델은 큰 계산을 작은 계산으로 나누는 등으로 연산자를 변환하고, 이를 다시 모아 큰 연산 규모로 구성해 효율성을 끌어올린다. 그다음 규모에 맞춰 하드웨어 명령을 선택하고, 실행 가능한 파일로 변환한다.

처리 과정을 요리에 빗대어 설명하면, 레시피를 먼저 방법에 따라 큰 덩어리의 작업인 채소 썰기, 고기 굽기 등으로 나누고, 채소를 다듬는 과정은 한 번에 다루는 식이다. 또 여기에 적절한 칼과 냄비 등을 고르고, 구체적으로 어떻게 썰지 등을 조작한다. 마지막으로 이를 실행하는 식으로 AI 모델 처리를 효율화한다.

150W TDP 칩으로 TDP 700W 대비 최대 2.7배 와트당 성능

논문에는 직접적으로 제품 성능과 엔비디아 L40s, H100 GPU와의 라마-2(Llama) 7B 데이터 시간 및 처리량 비교가 있다. 스펙상 TCP의 열설계전력(TDP)은 150W고, L40은 350W, H100은 700W에 달한다. TDP가 곧 소비전력을 의미하진 않지만, 그만큼 방열 처리를 갖추고 소비 전력도 높다는 말은 된다. 메모리는 TCP가 48GB HBM3, L40s가 48GB GDDR6, H100이 HBM3 80GB다.

이때 TCP의 성능은 FP8 기준 512 TFLOPS(초당 부동소수점 연산), L40s는 362, H100은 989다. AI 처리에 쓰이는 INT8 및 INT4 기준 TOPS(초당 1조 회 연산)는 TCP가 각각 512 및 1024, L40s가 733 및 733, H100은 1979로 표기돼있다. 이중 L40s의 INT4가 1466이 아닌 733, H100의 INT4가 3958이 아니라 미기재인 이유는 희소성(Sparsity) 최적화를 통해 성능을 최고 수준으로 다듬었을 때 제한적으로 낼 수 있는 수준이라서다.

종합적으로 TCP는 동일한 라마-2 LLM(대형 언어 모델)을 처리했을 때 한번에 처리하는 데이터의 개수인 배치(Batch) 1개, 시퀀스 길이 128일 때의 지연시간은 TCP가 8ms, L40s가 14ms, H100이 7ms로 거의 비슷했고, 처리량은 16배치, 2000 입력/출력 길이일 때 TCP가 935 토큰, L40s가 531토큰을 처리했다. 32배치에서는 TCP가 1293토큰, H100이 2230토큰을 처리했다. 와트당 성능은 TCP가 16배치에서 1와트당 6.24TOPS, L40s가 1.52TOPS를 발휘했으며, 32배치에서 TCP가 8.62TOPS, H100이 3.19TOPS를 발휘했다.

종합적으로 TCP는 와트당 성능면에서 L40s 대비 4.1배, H100 대비 2.7배 높은 성능을 보인다. 엔비디아 DGX 플랫폼처럼 8개의 장치를 꽂는다면 최적화된 AI 처리에서는 GPU 대비 2~4배에 가까운 전력 효율성과 2배에 가까운 전력 소모대 성능을 제공한다. 물론 최고 성능은 엔비디아 최신 GPU를 많이 꽂는 기존 방식에 밀리지만, RE100 등 신재생에너지 기반의 데이터센터 혹은 추론 기반의 작업에 최적화된 경우라면 압도적인 효율성이다.

TCP, 다목적 NPU라는 새로운 지평 열어

기존의 NPU는 고정된 연산 유닛으로 지정된 작업을 수행하는데 최적이었지만, TCP는 8개의 프로세싱 엘리멘트(PE)와 아키텍처에서 데이터를 효율적으로 전달하기 위해 설계된 시스템인 페치 네트워크(Fetch Network) 구성을 통해 텐서를 효율적으로 처리한다. 덕분에 TCP는 GPU 만큼은 아니더라도 다른 NPU보다는 훨씬 더 다양한 작업에 동원할 수 있다.

이는 기존 NPU 시장의 판도가 바뀔 수 있다는 점을 시사한다. 시장에서 GPU를 고집하는 이유는 결국 범용성 때문이다. 최고 성능이 높다는 장점도 있지만, 전력 효율이 떨어지고 가격대가 높다. 대안으로 등장한 NPU는 일부 AI 모델들을 대상으로 한 추론 기능에만 국한되니 대체재가 아닌 일부 작업의 차선책 정도 입지였다.

TCP로 다양한 작업에 대응한다면 인공지능 작업에서는 GPU의 대체제로 쓰일 수 있다. 물론 기존 GPU 사용자가 TCP를 채택하기란 쉽지 않겠지만, 퓨리오사AI는 자체적으로 모델을 최적화해 배포하는 등으로 진입을 도울 예정이다. TCP는 오는 8월부터 2세대 NPU인 ‘레니게이드(RNGD)’라는 이름으로 시장에 첫선을 보인다.

RNGD는 금번 7월 MLPerf에 LLM 부문에 대해 우선 결과를 제출할 예정이고, 9월부터 글로벌 시장에 판매될 예정이다. 기존 NPU의 한계를 넘어 텐서 축약 처리 기반이라는 새로운 방향성을 제시한 RNGD가 AI 반도체 시장의 패러다임을 바꿀 수 있을지 주목된다.

글 / IT동아 남시현 (sh@itdonga.com)