[IT동아 강형석 기자] 인공지능(AI) 시대, 시장은 그래픽 처리장치(GPU)와 그 주변을 둘러싼 고대역폭 메모리(HBM)에 주목했다. GPU에 탑재된 수천에서 수만 개 코어가 AI 학습·추론에 필요한 행렬 곱셈 연산에 최적화됐기 때문이다. 특정 명령어 연산에 맞춰진 설계도 인기에 힘을 보탰다. AI 기업 및 하이퍼스케일러(대규모 서비스 기업)들이 앞다퉈 GPU 구매에 열을 올리면서 전 세계적인 메모리 공급난 사태가 벌어지기도 했다.

하지만 이런 흐름이 조금씩 바뀌는 분위기다. 2026년 3월 엔비디아 GTC 2026에서는 AI 가속기 외에도 중앙처리장치(CPU)만으로 구성된 '베라(Vera) CPU 랙'이 공개됐다. 이어 ARM은 자체 제작한 서버용 CPU 'ARM AGI CPU'를 선보였다. AMD는 엔터프라이즈용 CPU 에픽(EPYC) 제품군을 고도화하고 있으며, 인텔도 제온(Xeon) 제품군을 앞세워 AI 데이터센터 시장 경쟁에 힘을 쏟는다.

반도체 기업이 CPU 경쟁에 뛰어든 이유는 무엇일까? AI 기술이 생성형에서 에이전트 방식으로 이행 중인 흐름과 무관하지 않다.

CPU의 중요성을 깨닫게 한 ‘AI 에이전트’

CPU가 다시 부각된 건 AI 산업이 에이전트(Agentic AI) 기술 구현에 집중하면서다. 에이전트는 스스로 실행 계획을 세우고, 수십 개의 보조 에이전트를 병렬로 파견해 원하는 결과를 도출한다. 이 과정에서 외부 API를 호출하고, 데이터베이스를 검색하거나 웹 정보를 탐색하고 코드를 실행하는 등 다양한 작업이 맞물린다. 각 작업이 명령에 따라 유기적으로 움직이도록 에이전트 내부에서 조율(Orchestration)이 이뤄지는 구조다.

반면 생성형 AI는 사용자가 질문을 던지면 데이터가 학습된 모델이 정보를 찾아 응답하는 형태로 작동한다. 이런 생성형 AI 서비스를 구현하려면 데이터를 사전에 학습·추론하는 과정이 필요하다. 순차적인 데이터 연산이 아닌 무작위 데이터 처리가 필요하므로 이에 능한 GPU가 효율적일 수밖에 없다. 생성형 AI 생태계에서 CPU는 데이터를 옮겨주는 전령에 머물렀다.

에이전트 AI는 무작위 데이터 연산보다 명령의 우선순위를 결정해 처리하는 게 핵심이다. 수십에서 수백에 달하는 보조 에이전트를 순차적으로 조율하려면 이를 총괄하는 관리자가 필요하다는 뜻이다.

CPU는 순차적 논리 처리, 그리고 다양한 종류의 작업을 빠르게 전환하며 처리하는 데 강점을 지닌다. 어느 보조 에이전트가 어떤 작업을 맡고 있는지 추적하고, 결과를 합산하면서 다음 단계를 계획하는 것이 모두 CPU 몫이다. 단체 스포츠의 감독·코치 역할에 비유할 만하다. 작전을 설계하고, 상황에 반응하며 모든 플레이어를 올바른 방향으로 이끈다.

애플리케이션 실행 능력도 CPU의 차별점이다. 에이전트가 외부 환경과 상호작용하는 애플리케이션 작업은 GPU가 담당하기 어렵다. 코드 실행, 웹 브라우징, API 호출, 데이터베이스 검색 등 전통적인 작업은 범용 컴퓨팅의 영역이기 때문이다.

IEEE 스펙트럼(IEEE Spectrum)은 운영체제 수준의 복잡한 조율은 태생적으로 CPU의 영역임을 강조한다. AI가 업무 수행 능력을 갖출수록, 전체 워크플로우(업무흐름)를 지휘하는 CPU의 '코그니티브 오버헤드(지능적 부하)' 처리 능력이 AI 서비스 품질을 가르는 척도가 될 것이라는 진단이다.

결국 하이퍼스케일러들이 CPU 확보에 열을 올리는 이유는 자율적인 AI 에이전트를 더 빠르고 가볍게 구동하기 위함이다. 고성능 CPU가 논리적 판단과 시스템 제어를 전담하고, GPU는 꼭 필요한 행렬 연산에만 집중하도록 만드는 것이 에이전트 AI 시대의 컴퓨팅 방식이라고 본 셈이다. AI의 진화가 하드웨어 설계 전반의 균형 잡힌 발전을 강제한다는 신호이기도 하다.

CPU가 중요한데 설계와 아키텍처는 ‘동상이몽’

이렇게 CPU가 다음 AI 시대의 핵심 장치로 부상하면서 시장 경쟁이 치열해질 전망이다. 다만 모든 CPU가 동일한 아키텍처와 미세공정을 쓰는 건 아니다. 각 기업이 AI 데이터센터 환경에 맞춘 최적의 설계와 성능, 가격 등을 각자의 무기로 내세웠기 때문이다. 현재 CPU를 설계·제조하는 기업은 인텔, AMD, 엔비디아, 퀄컴, ARM, 마이크로소프트, 구글, AWS 등이다.

인텔과 AMD는 x86 아키텍처를 쓴다. 1978년 개발돼 지금까지 쓰일 정도로 범용성이 검증된 설계다. 수십 년간 축적된 방대한 소프트웨어 생태계와 하위 호환성이 강점이다. 대다수 AI 데이터센터가 인텔·AMD CPU를 채택 중이며, 온프레미스와 클라우드를 아우르는 다양한 환경에서 곧바로 구동된다는 점도 경쟁력이다. ARM 기반 시스템 도입 시 요구되는 코드 재작성, 재컴파일, 복수 코드베이스 유지 문제가 없다는 것도 장점이다.

ARM 기반 서버 CPU는 스마트폰 칩의 근간이 된 ARM 아키텍처를 서버용으로 확장한 형태다. x86보다 전력 효율이 높고, 코어 집적 밀도도 높다. 특정 애플리케이션 가속에 필요한 명령어만 적용했기에 가능한 구조다. ARM 자료에 따르면 ARM 아키텍처 기반 데이터센터 CPU의 출하량은 전체 5%(2020년 기준)에서 2025년 최대 23%까지 점유율이 확대됐다.

하이퍼스케일러가 자체 개발하는 CPU는 대부분 ARM 기반이다. AWS 그래비톤(Graviton), 구글 액시온(Axion), 마이크로소프트 코발트(Cobalt), 엔비디아 그레이스(Grace), 베라(Vera) 등이 모두 ARM 아키텍처를 토대로 개발됐다. 하이퍼스케일러 기업은 CPU 직접 개발로 인프라 구축 및 서비스 비용을 낮추고, 자사 소프트웨어 알고리듬에 최적화된 하드웨어를 구현하는 것을 목표로 삼는다.

하이퍼스케일러들의 독자 칩 행보는 인텔, AMD 등 전통적인 CPU 기업에 상당한 위협이다. AWS 그래비톤과 구글 액시온은 적용 범위를 확대해 인텔·AMD 의존도를 낮추겠다고 공식 선언했다. 마이크로소프트 코발트는 애저(Azure) 클라우드 인프라에 적용해 서비스 중이다.

AI 고도화될수록 CPUㆍGPU의 효율성 강조될 것

시장조사기업 비즈니스 리서치 인사이트는 소비자용 CPU를 포함한 전체 시장이 2026년 1470억 달러(약 217조 6482억 원)에서 2035년 2666억 달러(약 394조 7279억 원)로 커질 것이라고 전망했다. 에이전트 AI와 강화학습이 데이터센터 CPU 성장을 이끌 것이라는 게 근거다.

AI 투자 생태계가 GPU 중심에서 벗어나 CPU·메모리·패키징·파운드리까지 넓게 분산되고 있다는 지적도 나왔다. 글로벌 금융기업 모건 스탠리는 2026년 4월 발간한 'AI 에이전트의 부상: 세계적 관계(Rise of the AI Agent – Global Implications)' 보고서에서 최고의 GPU 가속기를 보유하는 것만으로는 더 이상 충분하지 않다고 지적했다. 현재의 변화는 전 세계 산업 전반에 영향을 줄 것이라는 전망도 내놨다. AI 인프라 투자 규모가 여전히 크지만, 점차 '효율성' 중심으로 재편될 가능성도 언급했다.

시장 흐름은 하드웨어 외에도 소프트웨어 최적화 방향에 따라 달라질 여지가 충분하다. 하드웨어 성능이 상향평준화되면 특정 CPU에서만 더 빠르게 돌아가는 AI 라이브러리와 프레임워크의 영향력이 커지기 때문이다. 엔비디아가 쿠다(CUDA)로 쌓아올린 성과를 CPU 시장에서도 구현하려는 시도가 이어질 전망이다. 특정 기술에 종속되지 않으려는 오픈소스(개방형) 생태계도 이 흐름에서 자유롭지 않을 것으로 보인다.

AI 기술의 진화로 CPU는 두 번째 전성기를 맞았다. GPU가 AI의 탄생과 폭발적인 성장을 이끌었다면, CPU는 AI의 성숙과 일상화를 위한 토대가 될 것이다.

IT동아 강형석 기자 (redbk@itdonga.com)