[IT동아 강형석 기자] 지난 몇 년간 인공지능(AI) 데이터센터 업계는 그래픽 처리장치(GPU)를 바라봤다. AI 학습과 대규모 서비스 구현에 GPU는 필수였다. 장비 확보 역량이 곧 경쟁력이었고, 수백억 달러를 쏟아부으며 인프라 구축에 집중했다. 하지만 AI 스스로 계획을 수립하고 결과물을 내놓는 에이전틱 AI가 부상하면서, 중앙처리장치(CPU)가 다시 주목받기 시작했다.

CPU가 재조명되는 이유는 순차처리 능력에 있다. 에이전틱 AI는 단일 추론을 처리하는 데 그치지 않고, 목표를 완수할 때까지 수십에서 수백 회에 달하는 개별 연산을 반복한다. 이 과정에서 성격이 다른 소작업들을 차례대로 빠르게 소화하는 것이 관건이다. GPU는 병렬처리에 탁월하지만, 순차처리 능력은 CPU보다 떨어진다.

시스템 전반의 통합과 확장성이 AI 인프라 경쟁의 새로운 척도로 부상하면서, GPU 여러 대에 CPU 한 대를 조합하던 기존 공식도 흔들리는 추세다. 시장조사기업 트렌드포스(TrendForce)는 에이전틱 AI 워크플로우가 확산할수록 데이터센터 내 CPU 대 GPU 비율이 기존 1:4 혹은 1:8에서 1:1 수준으로 수렴할 가능성이 높다고 봤다. AMD, Arm, 엔비디아, 퀄컴 등 주요 반도체 기업이 앞다퉈 AI 데이터센터용 CPU를 출시하며 경쟁에 뛰어들었고, 인텔도 제온(Xeon) 6, 제온 6+ 프로세서로 시장 확대에 나섰다.

그렇다면 인텔은 AI 시대 CPU의 역할과 데이터센터 시장 흐름을 어떻게 바라볼까? 반도체부터 서버 시스템, 글로벌 통신망, 클라우드에 이르기까지 각계 전문가들이 한자리에 모여 차세대 인프라의 방향성을 심층 논의하는 자리가 마련됐다.

2026년 6월 1일, 대만 타이베이 험블하우스 호텔에서 인텔 데이터센터 그룹 패널 토론이 열렸다. 인텔 제온 6+(Xeon 6+)를 주제로 한 이 자리에는 케보크 케치치안(Kevork Kechichian) 인텔 데이터센터 총괄 및 수석부사장, 마그누스 에버브링(Magnus Ewerbring) 에릭슨 아시아태평양 최고기술책임자(CTO), 위징치엔(Yujing Qian) GMI 클라우드 부사장, 베니 랜(Benny Lan) 기가컴퓨팅 최고운영책임자(COO) 등이 자리했다.

에이전틱 AI 시대, 시스템이 경쟁력이다

케보크 케치치안 인텔 데이터센터 총괄 및 수석부사장은 "AI는 부품 조합이 아니라 조율된 시스템으로 확장되는 것"이라고 말했다. 에이전틱 AI가 떠오르면서 오케스트레이션(통합 조정 및 관리)ㆍ데이터 이동ㆍ지속 추론이 주요 병목으로 지목됐고, CPU가 현대 AI 인프라의 제어 플레인(시스템의 두뇌)으로 다시 자리매김했다는 설명이다.

이날 공식 발표한 제온 6+(Xeon 6+) 프로세서는 소켓당 최대 288개의 효율 코어(E-코어)를 탑재했다. 인텔 18A 공정에서 생산된 첫 서버 제품이기도 하다. 반도체 후면에서 트랜지스터에 직접 전력을 공급해 손실을 줄인 파워비아(PowerVia) 기술, 3D 패키징으로 부품 밀도를 끌어 올린 포베로스 다이렉트3D(Foveros Direct3D)를 모두 적용했다.

케보크 케치치안 총괄은 AI 인프라에 대한 시각 전환을 주문했다. "5G 네트워크, 데이터베이스, 클라우드 기반 애플리케이션 등 5년 전 서버가 맡아온 일들은 여전히 이어진다. 달라진 건 에이전틱 AI의 등장으로 사용자가 인간이 아닐 수도 있는 시대가 왔다는 것"이라는 게 그의 말이다.

벤치마크의 기준 자체도 바뀔 것이라는 전망이 이어졌다. 케보크 케치치안 수석부사장은 "코어 수나 파이프 전송 속도가 아니라, 단위 전력당 에이전트 밀도로 경쟁력을 따지게 될 것"이라고 내다봤다.

에이전틱 AI 시대의 데이터센터 경쟁력은 단일 연산 성능 개선에 그치지 않는다는 게 그의 주장이다. 제온 6+와 함께 출시되는 이더넷 컨트롤러 385, AI 가속기 생태계와 유기적으로 결합해야 비로소 폭넓은 가치가 창출된다는 이야기다. 오랜 기간 축적한 아키텍처 자산과 파운드리 역량을 바탕으로 전 세계 파트너에게 유연한 스케일업 네트워크 솔루션을 지속 공급하겠다는 청사진도 함께 제시했다.

모바일 네트워크, AI 생태계에 융합될 것

"집을 나서면서 스마트폰을 두고 가는 사람은 한 명도 없을 것이다. 우리는 항상 모바일 네트워크를 사용하고 있으며, 이는 AI 컴퓨팅과 연결될 것이다."

마그누스 에버브링 에릭슨 아시아태평양 최고기술책임자(CTO)는 인공지능과 클라우드, 모바일 네트워크가 결합한 융합 생태계를 그렸다. AR 안경이 상용화되고, 드론과 로봇, 휴머노이드가 모바일 네트워크에 연결되는 엣지 AI(Edge AI) 세계가 그가 제시한 미래상이다. 타이베이 도심을 걷는 중에 앞에 보이는 건물 정보를 실시간으로 알려주는 서비스가 등장한다면, 해당 데이터는 모바일 네트워크를 거쳐 데이터센터로 전송돼 처리된다.

에릭슨은 6G를 '지능형 패브릭(Intelligent Fabric)'이라 명명했다. 분산된 AI 에이전트들이 기계의 속도로 협력하려면 예측 및 검증 가능한 성능의 인프라가 뒷받침되어야 한다는 이유에서다. 마그누스 에버브링 박사는 향후 10년간 단말에서 네트워크로 유입되는 송수신 데이터 규모가 10배~15배 증가할 것으로 내다봤다.

에릭슨이 차세대 AI 네트워크 인프라 구축에서 인텔과 손을 잡은 건 구조적 이유가 크다. 무선 기지국 안테나부터 엣지 센터, 지역 데이터센터, 국가 단위 대형 시설에 이르기까지 네트워크 인프라는 다양한 규모의 컴퓨팅이 층층이 쌓인 구조다. 각각 요구되는 처리 역량이 다르고, 전체를 하나의 플랫폼으로 통합 운영해야 한다.

마그누스 에버브링 박사는 인텔 제온 6+ 플랫폼의 이점을 높이 평가했다. 그에 따르면 288코어 제온 6990E+ 단일 소켓 시스템은 기존 듀얼 소켓 288코어 제온 시스템 대비 랙당 전력 소비를 38% 줄이고, 전력 대비 성능은 60% 이상 향상됐다.

아울러 기술 선택의 기준도 짚었다. "전력 효율, 데이터 주권, 업타임, 규제 요건 등이 판단 기준이 되는데, 구체적인 비중은 데이터센터의 위치와 용도에 따라 달라진다"고 덧붙였다.

강화학습이 CPU의 수요 이끈다

"프런티어 랩들은 하이퍼 스케일러(대형 클라우드 서비스 기업)에서 CPU를 대거 빌려 훈련 파이프라인에 통합하기 시작했다. 그때 기존 CPU들이 기대에 미치지 못한다는 사실을 깨달았다. 특화형 CPU 제품들이 시장에 쏟아지는 계기가 됐다."

위징치엔 GMI 클라우드 부사장은 CPU 수요가 급증한 배경을 짚었다. 그의 분석에 따르면, 초거대 모델들이 사전 훈련(pre-training) 단계에서 스케일링 장벽(확장 제한)에 부딪히면서 강화학습(Reinforcement Learning)이 대안으로 떠오른 게 핵심이다. AI 훈련 방식의 전환이 CPU 수요를 끌어올리는 셈이다.

강화학습은 모델이 실제 환경과 유사한 조건에서 스스로 시행착오를 겪으며 익히는 방식이다. 사례가 많을수록 훈련 속도도 비례해 빨라진다. 그 다양한 사례를 동시에 감당하는 자원이 바로 CPU다.

에이전트 추론 단계에서도 CPU의 역할이 두드러진다. 에이전트는 짧은 요청 하나에 그치지 않고, 웹 검색부터 코드 실행, 데이터베이스 쿼리, API 호출까지 수십에서 수백 번 반복하며 작업을 완수한다. 이 개별 작업을 모두 CPU 코어가 맡아 처리한다. 제온 6+가 소켓당 288개의 코어를 제공하는 것이 경쟁력으로 작용하는 이유다.

위징치엔 부사장은 훈련과 추론 단계에서 CPU 의존도가 서로 다르다는 점도 강조했다. 강화학습에서는 샌드박스 지연이 곧 훈련 지연으로 직결돼 CPU 배치 위치가 결정적이다. 반면 추론 단계에서는 CPU가 토큰 처리의 주역을 맡는 만큼, 지연보다 코어 밀도가 더 중요한 변수가 된다. 데이터센터 내에서도 용도에 따라 CPU 배치 전략을 달리해야 한다는 조언이다.

위징치엔 부사장은 보안 측면에서 '기밀 컴퓨팅(Confidential Computing)'의 가능성도 짚었다. 특정 인증을 거친 CPU 안에서 실행되는 워크로드는 데이터센터 운영자조차 내용을 열람하지 못한다. 해외 데이터센터에 민감한 데이터를 올려야 하는 기업이라면, 물리적 위치보다 신뢰 가능한 실행 환경이 더 중요한 선택 기준이 된다. 그는 "CPU와 GPU를 같은 네트워크 안에 물리적으로 근접 배치하는 2단계 기밀 컴퓨팅 구성이 클라우드 환경에서 실용적인 해법이 될 것"이라고 제안했다.

AI 데이터센터 시스템 효율은 CPU가 이끌 것

"AI 작업의 순서 조율(스케줄링), 메모리 풀 조율, 네트워크와 스토리지 처리 등 모든 것을 GPU 대신 CPU가 담당할 때 GPU의 실질적인 효율이 결정된다. 시스템 레벨의 성능은 결국 CPU 효율에서 나온다."

베니 랜 기가컴퓨팅 최고운영책임자(COO)는 워크로드 스케줄링과 데이터 전처리 단계에서 CPU가 발휘하는 통제력의 중요성을 피력했다. AI 연산의 핵심인 GPU가 병목 없이 최상의 성능을 내려면, 메모리 풀을 조율하고 데이터 흐름을 최적화하는 CPU의 역할이 단단히 뒷받침되어야 한다는 이야기다.

베니 랜 COO는 인텔 제온 6+에 적용된 애플리케이션 전력 원격 측정(AET, Application Energy Telemetry) 기술에 주목했다. AET는 CPU 단위에서 이뤄지는 작업별 에너지 소비량을 정밀하게 추적하는 기술이다. 관리자가 에너지 사용을 모니터링하고 작업 배치를 최적화하는 데 쓰인다. 전력효율에 민감한 데이터센터 시장 맞춤형 기술인 셈이다.

기가컴퓨팅은 전력 효율과 스마트한 자원 관리가 균형을 이룰 때 비로소 유연하고 지속성 높은 AI 인프라가 마련된다는 입장이다. 베니 랜 COO는 "인텔 제온 6+ 플랫폼은 고도화된 아키텍처 기술을 접목해 관리자가 애플리케이션별 전력 소비량을 정밀하게 모니터링하고, 가용 인프라를 최적으로 활용하는 길을 열었다"고 말했다.

IT동아 강형석 기자 (redbk@itdonga.com)