앞서가는 엔비디아지만, 경쟁자도 다양한 무기를 앞세워 추격 중이다. 대표적으로 그래픽 처리장치(GPU) 분야에서 경쟁해 온 AMD가 있다. 최근 인스팅트 MI300 시리즈를 선보이며 경쟁에 나선다. 처음 선보이는 제품은 아니다. 과거에도 MI100과 MI200 등 병렬 연산이 필요한 환경에 대응해 왔지만, MI300은 인공지능 및 초고성능 컴퓨팅(빅데이터)에 맞춰 다듬었다. 본격적인 경쟁 체제에 돌입한 것이다.

엔비디아 vs AMD, 하드웨어 특성은 다르지만 접근 방법은 같아

엔비디아는 2007년, 점점 복잡해지는 그래픽 연산 환경에 맞춰 쿠다(CUDA) 코어를 개발했다. 하드웨어 집적도 향상에 따라 코어 수는 빠르게 늘었는데, 이와 함께 지포스 RTX 시리즈에 와서는 인공지능과 광선추적(레이 트레이싱)만 전문으로 처리하는 코어를 추가해 넣었다. 이것이 엔비디아가 인공지능 하드웨어로 빠르게 성장할 수 있었던 계기였다고 해도 과언이 아니다.

H100의 호퍼 설계 구조는 기존 엔비디아 그래픽 처리장치 설계를 인공지능 환경에 맞춘 형태다. 기본 코어 안에는 정수(INT32)와 단ㆍ배정밀도(FP32ㆍFP64)를 처리하도록 구성됐다. 추가로 4세대 텐서코어가 배치되어 부족한 부분을 돕는다. 텐서코어는 행렬의 연산을 한 번에 수행하는 것이 특징이다. 또한 비동기 연산을 지원하는데 이는 연산이 순차적으로 처리되는 게 아니라 부하에 따라 유연하게 처리됨을 의미한다.

AMD도 구조는 유사하다. 과거 그래픽 프로세서 설계를 연산에 특화된 구조로 바꿨다. 다만 그래픽 처리에 필요한 블록이 제거되고 모두 연산에 필요한 블록으로 대체했다. 따라서 기존 컴퓨트 유닛이라 부르는 코어가 2배 확장됐고 데이터를 유연하게 다루고자 예비와 주 메모리의 용량 등을 크게 키웠다. 행렬과 텐서 연산을 위해 별도의 매트릭스 코어(Matrix Core)를 구성한 점이 특징이다.

인공지능 가속을 위한 칩은 이와 동일하고 빅데이터 처리를 겸하는 장비는 구조가 다소 다르다. 엔비디아는 H100 가속장치와 함께 그레이스 설계가 반영된 ARM 기반 중앙처리장치가 짝을 이룬다. 이를 다수 배치함으로써 대규모 데이터 처리에 힘을 싣는다.

반면 AMD는 인공지능 가속 칩에 중앙처리장치를 함께 배치한다. 인공지능 처리에 필요한 코어가 일부 줄어들지만, 그 자리를 대신해 24코어를 갖춘 젠(Zen) 4 기반 적용된 중앙처리장치가 집적된다. ARM 기반이 아닌 일반 x86 중앙처리장치라 다양한 환경에 대응 가능하다.

이렇게 구조는 다르지만, 지향하는 목표는 같다. 최대한 많은 연산을 유연하게 다루는 것이다. 현재 사양으로 놓고 보면 두 장치는 각각 일장일단은 있다. 다만 엔비디아는 시장 선점을 빨리했기에 전반적인 성능 검증이 이뤄졌으나 AMD는 이 부분에서 더 많은 노력이 필요한 상황이다.

하드웨어도 중요하지만, 진짜는 소프트웨어에 있다

엔비디아와 AMD 모두 병렬 컴퓨팅 처리장치 설계에 대해서는 많은 경험을 가진 기업이다. 따라서 신제품 출시 주기에 따른 성향 차이는 있어도 성능 부분에 있어서는 차이가 줄어들 가능성이 높다. 성능에서 큰 차이를 보이지 않는다면 결국 하드웨어의 가치와 성공을 가늠하는 것은 소프트웨어다. 하드웨어가 최고의 성능을 낼 수 있도록 지원과 유지보수 등이 필요하다.

엔비디아는 이 부분에 있어 폭넓은 솔루션을 제안하고 있다. 우선 쿠다(CUDA)-X 인공지능(AI)은 쿠다 명령어를 바탕으로 다양한 라이브러리 컬렉션을 제공한다. 병렬 컴퓨팅이 막 대두되던 시기부터 사용한 명령어를 환경에 맞춰 발전시킨 것으로 엔비디아의 강력한 무기 중 하나로 꼽힌다. 이 외에 엔터프라이즈 분야에서 인공지능을 위한 운영체제인 인공지능 엔터프라이즈(AI Enterprise), 기업이 가상공간 내에서 미리 결과를 얻을 수 있는 옴니버스(Omniverse) 등도 잘 알려진 소프트웨어들이다.

AMD는 인공지능 처리 도구와 모델, 라이브러리 등을 모은 ROCm을 전면에 내세웠다. 거대 언어 모델부터 다양한 연산 추론 등 인공지능 데이터 처리에 필요한 도구를 담았다. 개발을 위한 생태계 구축도 꾸준히 업데이트하면서 완성도를 높여가는 중이다. 무엇보다 이 분야에서는 개발자들이 명령어 호환성을 민감하게 본다. 새로 구축하고 그 과정에서 발생하는 문제에 대비하기에 시간이 오래 걸린다는 이유가 크다. AMD도 이 부분에 대응하기 위해 개발자 커뮤니티와 다양한 인공지능 오픈소스 개발사와 협업한다.

인공지능 시장은 빠르게 성장하고 있다. 글로벌 시장조사기업 IDC에 따르면 2027년 전 세계 생성형 인공지능 시장 규모가 약 1500억 달러 이상으로 내다봤다. 시장이 성장함에 따라 자연스레 관련 하드웨어 수요도 증가할 것으로 예상된다. 엔비디아와 AMD의 경쟁은 이제부터 시작인 것이다.

글 / IT동아 강형석 (redbk@itdonga.com)