한국 딜로이트(Deloitte)가 2026년 3월 발표한 딜로이트 인사이트 리포트 'AI 성패를 결정짓는 컴퓨팅 인프라와 글로벌 반도체 공급망 재편'은 AI 경쟁의 본질이 근본적으로 바뀌고 있다고 진단한다. 챗GPT(ChatGPT)가 세상을 뒤흔든 지 불과 몇 년 만에, AI의 승부처는 더 똑똑한 알고리즘을 만드는 것에서 더 많은 연산을 더 오래 감당할 수 있는 인프라를 확보하는 것으로 이동하고 있다. 그리고 그 인프라의 핵심 고리는 반도체, 데이터센터, 전력망이라는 세 축이다.

AI 경쟁 기준의 대전환, 알고리즘에서 연산력으로

AI 경쟁의 본질이 바뀌고 있다. 과거에는 더 정교한 알고리즘, 더 많은 파라미터, 더 높은 벤치마크 점수가 경쟁력이었다면, 이제는 얼마나 많은 연산을 얼마나 오랫동안, 얼마나 안정적으로 감당할 수 있는가가 승부를 좌우한다.

이 변화를 이끈 핵심 동인은 세 가지다. 첫째, AI 산업 초기에는 사전 학습(Pre-training)이 핵심 경쟁력이었지만, 현재 연산의 무게중심은 명확히 추론(Inference)으로 이동했다. 모델은 한 번 학습되지만 추론은 매일, 매시간, 수십억 번 호출된다. 둘째, 답변 하나를 생성하기 위해 수백, 수천 단계의 추론을 거치는 장시간 사고 추론(Long Thinking)과 사후 학습(Post-training) 기법이 표준으로 자리 잡으면서 연산 수요가 폭발적으로 늘었다. 셋째, 토큰당 추론 비용은 하락하고 있지만 전체 사용량이 기하급수적으로 늘어나면서 기업의 총 AI 비용은 오히려 증가하고 있다. 이것이 '추론 경제(Inference Economics)의 역설'이다.

이 역설은 AI 산업의 성격 자체를 바꾼다. AI는 전력망이나 통신망처럼 지속적인 투자와 유지가 필요한 장기 인프라 산업이 된 것이다. 우수한 알고리즘은 수천만 달러 규모의 투자로 개발할 수 있다. 그러나 수백만 명의 동시 사용자를 지원하는 추론 인프라는 수십억 달러의 투자와 수년에 걸친 공급망 구축을 필요로 한다.

HBM·데이터센터·전력, AI 인프라를 떠받치는 세 기둥

AI 연산력을 실제로 뒷받침하는 세 축은 고대역폭 메모리(HBM), 데이터센터, 전력이다. 이 세 가지는 서로 분리될 수 없다. HBM 없이는 GPU(그래픽 프로세서)가 제 성능을 낼 수 없고, 데이터센터 없이는 HBM과 GPU를 운용할 수 없으며, 전력 없이는 데이터센터 자체가 작동하지 않는다.

특히 주목할 것은 AI 연산의 진짜 병목이 GPU 처리 속도가 아니라 메모리 대역폭이라는 점이다. 아무리 빠른 프로세서라도 필요한 데이터를 충분히 그리고 빠르게 공급받지 못하면 연산 성능은 곧바로 제한된다. NVIDIA(엔비디아)의 H100·H200과 같은 최신 AI 가속기는 최대 80GB의 HBM을 탑재하며, 초당 약 3.35TB 수준의 메모리 대역폭을 제공한다.

데이터센터는 단순한 서버 시설이 아니다. 엣지 AI(기기 내 AI)가 확산될수록 데이터센터가 줄어들 것이라는 전망도 있었지만, 현실은 정반대다. 장시간 사고(Long Thinking)와 같은 기법은 수백 GB 규모의 모델 가중치를 실시간으로 처리해야 한다. 스마트폰이나 개인용 PC 수준의 디바이스로는 사실상 구현이 불가능한 영역이다. 또한 전력 인프라는 이제 AI 서비스 경쟁력의 핵심 조건이 됐다. 대규모 AI 데이터센터는 수백 메가와트(MW)에 달하는 전력을 소비한다. 이는 중소 도시 하나의 전력 소비량에 맞먹는 규모다.

반도체 공급망이 지정학적 무기가 된 시대

AI 인프라를 구성하는 반도체 공급망 자체가 새로운 지정학적 전장이 되고 있다. 통제 대상은 완성된 칩에만 국한되지 않는다. EUV 노광 장비, 식각·증착 장비, EDA 설계 소프트웨어, PDK, 파운드리 IP, 첨단 패키징 기술 등 반도체 가치사슬(Value Chain)의 거의 모든 요소가 규제 대상에 포함되고 있다.

그 결과 글로벌 반도체 공급망은 과거의 효율 중심 단일 구조에서 안보와 통제를 중심으로 한 블록화된 다극 구조로 재편되고 있다. 미국은 CHIPS and Science Act를 통해 자국 내 첨단 제조를 재구축하고 있고, 중국은 화웨이(Huawei)와 SMIC(에스엠아이씨)를 중심으로 장비와 소재의 국산화를 추진하고 있다.

이 환경에서 규제 준수(Compliance)의 방식도 근본적으로 달라졌다. 과거에는 제품이 완성된 후 법무팀이 검토하는 사후 절차였다면, 이제는 설계 단계부터 규제를 반영하는 '규제 기반 설계(Compliance-by-design)'가 거래의 전제 조건이 됐다. 공급망 추적성, 물류 경로 관리, 성능 임계치 관리 역량을 갖추지 못한 기업은 기술력이 뛰어나더라도 글로벌 공급망에서 자연스럽게 배제될 가능성이 높다.

한편 글로벌 빅테크 기업들의 AI 인프라 투자는 사상 유례 없는 수준으로 확대되고 있다. 마이크로소프트(Microsoft)는 연간 700억~900억 달러, 아마존(Amazon)은 700억 달러 이상, 알파벳(Alphabet, 구글 모회사)은 500억~650억 달러 규모의 AI 인프라 투자를 계획하고 있다. 이들의 투자는 지금 충분한 연산 인프라를 확보하지 못할 경우 미래 AI 서비스 시장에서 구조적으로 뒤처질 수 있다는 판단을 반영한다.

한국 반도체의 전략적 위치, HBM이라는 핵심 병목

이 구조 변화 속에서 한국은 독특하고 중요한 전략적 위치를 점하고 있다. 글로벌 AI 인프라 공급망은 설계–제조–메모리–패키징–인프라로 이어지는 구조로 형성되고 있으며, GPU 설계는 NVIDIA가 사실상 주도하고, 첨단 칩 제조는 TSMC(티에스엠씨)가 담당하며, AI 인프라 구축과 운영은 구글(Google), 아마존, 마이크로소프트 등 빅테크가 주도한다. 이 가운데 한국은 메모리, 특히 HBM이라는 핵심 병목을 통제하는 위치에 있다.

SK하이닉스는 단순한 부품 공급자를 넘어섰다. NVIDIA와의 긴밀한 협력을 통해 HBM3e 양산을 주도하고 HBM4 개발에서도 선도적 위치를 확보하면서, 차세대 AI 가속기 출시 일정과 시스템 아키텍처에 직접적인 영향을 미치는 위치에 올라섰다. 삼성전자(Samsung Electronics)는 메모리, 파운드리, 패키징을 모두 보유한 수직 통합 구조로 차별화된다. 공급망 불확실성이 높은 환경에서 고객에게 통합적이고 안정적인 조달 구조를 제공할 수 있는 독보적 입지를 가지고 있다.

그러나 현재의 강점이 미래를 자동으로 보장하지는 않는다. 리포트는 한국이 첨단 패키징, 반도체 장비·소재 공급망 다변화, 전력 인프라 정책 등에서 해결해야 할 구조적 과제를 안고 있다고 지적한다. 특히 CoWoS(코우오에스)를 중심으로 한 첨단 패키징 분야에서는 TSMC가 강한 지위를 확보하고 있으며, 한국의 OSAT(후공정 외주) 역량은 여전히 메모리 중심에 머물러 있다. 전략적 로드맵은 단기적으로 HBM4 조기 양산과 수율 최적화, 중기적으로 CoWoS급 첨단 패키징 역량 확보와 2nm 공정 안정화, 장기적으로 AI 전용 시스템 반도체(SoC) 역량 확보라는 단계적 확장을 요구한다.

AI 시대의 패권은 가장 뛰어난 모델을 만든 기업이 아니라, 데이터센터·HBM·전력망·패키징·공급망·규제 대응 능력이 결합된 복합 구조를 얼마나 완결성 있게 구축했는가에 달려 있다. 한국은 그 구조 경쟁에서 이미 핵심 거점을 선점한 몇 안 되는 국가 중 하나다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. HBM(고대역폭 메모리)이 AI에서 왜 그렇게 중요한가요?

A. HBM은 AI 연산을 수행하는 GPU(그래픽 프로세서)에 데이터를 초고속으로 공급하는 메모리입니다. 아무리 빠른 GPU라도 데이터를 충분히 빨리 받지 못하면 성능이 제한됩니다. 현재 SK하이닉스와 삼성전자가 HBM 시장을 주도하고 있어, 한국이 글로벌 AI 인프라의 핵심 병목을 통제하는 위치에 있습니다.

Q2. AI 경쟁에서 반도체 수출 규제가 중요한 이유는 무엇인가요?

A. 반도체는 AI 시스템을 작동시키는 핵심 부품으로, 이를 통제하는 것이 곧 상대국의 AI 경쟁력을 제한하는 수단이 됩니다. 미국은 완성된 칩뿐 아니라 제조 장비, 설계 소프트웨어까지 수출을 규제하고 있으며, 이 규제를 처음부터 설계에 반영하지 않으면 글로벌 공급망에서 배제될 수 있습니다.

Q3. 삼성전자와 SK하이닉스의 역할은 어떻게 다른가요?

A. 두 기업은 상호 보완적인 역할을 합니다. SK하이닉스는 HBM이라는 핵심 병목 기술을 통해 AI 가속기 성능의 상한선을 결정하는 전략적 파트너 역할을 합니다. 삼성전자는 메모리·파운드리·패키징을 모두 갖춘 수직 통합 구조로, 공급망 불확실성이 높은 환경에서 안정적인 통합 조달을 제공하는 플랫폼 기업으로 자리하고 있습니다.

기사에 인용된 리포트 원문은 딜로이트 홈페이지에서 확인할 수 있다.

리포트명: AI 성패를 결정짓는 컴퓨팅 인프라와 글로벌 반도체 공급망 재편

이미지 출처: AI 생성 콘텐츠

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.