더 똑똑한 인공지능(AI) 모델을 가진 회사가 이긴다고 흔히들 생각한다. 그런데 딜로이트(Deloitte)가 미국 주요 기업 리더 515명에게 직접 물어보니 답은 정반대였다. 2028년 승부를 가르는 건 모델의 성능이 아니라, 그 모델을 값싸고 안정적으로 운영할 수 있는 ‘AI 인프라’였다. AI 인프라란 AI를 돌리는 데 필요한 컴퓨팅 장비, 전력, 데이터 저장소, 그리고 이를 다룰 사람까지 아우르는 기반 설비를 말한다. 이 AI 인프라 경쟁은 이미 조용히 시작됐고, 지금의 선택이 3년 뒤 회사의 운명을 가른다.

모델 확보에서 운영 능력으로 옮겨간 경쟁의 무게중심

딜로이트가 2026년 8월 발표한 기업 AI 인프라 보고서에 따르면, 2028년까지 ‘AI 팩토리(AI factory)’를 대규모로 운영할 계획이라고 답한 기업이 70%를 넘었다. AI 팩토리란 고성능 컴퓨터와 전용 소프트웨어를 한데 모아 AI를 공장처럼 대량으로 가동하는 전용 운영 환경으로, 흔히 ‘AI 공장’이라고도 부른다. 예전에는 좋은 AI 모델 하나만 잘 골라 쓰면 충분했지만, 이제는 그 모델을 매일 수백만 번씩 안정적으로 가동할 ‘공장’이 있어야 경쟁이 된다는 뜻이다.

실제로 이번 조사에서 AI 확산을 가로막는 가장 큰 장애물은 기업의 의지가 아니라 인프라 부족으로 꼽혔다. 그런 제약에도 실전 확산 속도는 오히려 빨라지고 있다. AI 파일럿 프로젝트를 여러 건 운영하는 기업 비중은 2025년 약 50%에서 2028년 약 70%로 늘고, 실제 업무에 투입된 AI 운영 사례를 다수 갖춘 기업도 같은 기간 44%에서 67%로 확대될 전망이다. 아이디어를 실험하는 단계는 끝났고, 누가 먼저 안정적인 가동 체제를 갖추느냐가 관건이 된 셈이다. 지금 회사에서 AI를 시범적으로 몇 건 써보는 수준이라면 이미 뒤처지는 쪽에, 전사 차원의 운영 체계를 준비 중이라면 앞서가는 쪽에 서 있는 것이다.

월 100억 토큰 쓰는 기업, 2년 만에 두 배로

AI를 얼마나 쓰는지는 ‘토큰(token)’ 소비량으로 드러나는데, 이 숫자가 2년 만에 두 배로 뛴다. 토큰이란 AI가 글자와 단어를 잘게 쪼개 처리하는 기본 단위로, AI를 많이 쓸수록 토큰 소비도 늘고 비용도 함께 불어난다. 딜로이트 조사에서 월평균 100억 개 넘는 토큰을 쓸 것이라 답한 기업 비율은 2026년 30%에서 2028년 61%로 두 배가 됐다. 특히 월 1,000억 개 이상을 소비하는 초대형 사용 기업은 같은 기간 7%에서 23%로 세 배 넘게 늘어난다.

토큰 소비가 폭발하는 배경에는 ‘사고 토큰(thinking tokens)’이 있다. 최근 AI는 답을 내놓기 전에 머릿속으로 한 번 더 따져보는 추론 과정을 거치는데, 이때 눈에 보이지 않는 토큰을 추가로 만들어낸다. 사람이 어려운 문제를 풀 때 머릿속으로 계산을 여러 번 하는 것과 비슷하다. 문제는 이 소비량이 곧 돈이라는 점이다. AI에게 지시하는 문장(프롬프트)을 불필요하게 길게 쓰거나 같은 작업을 반복하면 토큰이 새어 나가듯 낭비된다. AI를 잘 쓰는 회사와 비용만 흘리는 회사의 차이가 바로 여기서 벌어진다.

AI 팩토리와 엣지, 2028년까지 두 배로 늘어난다

자체 AI 팩토리를 짓는 기업은 현재 64%에서 2028년 88%로 늘고, 그중 전면 도입 단계에 이른 기업은 2025년 36%에서 2028년 73%로 두 배 가까이 증가한다. 여기에 ‘엣지 AI(edge AI)’도 같은 속도로 확산된다. 엣지 AI란 데이터를 멀리 있는 중앙 서버로 보내지 않고, 데이터가 생기는 현장 가까이에서 곧바로 처리하는 방식이다. 공장 기계 옆에 작은 AI를 붙여 즉석에서 판단하게 하는 식이다. 현재 엣지 AI를 대규모로 운영하는 기업은 36%지만 2028년에는 72%까지 늘어난다.

기업들이 가장 많이 택한 방식은 클라우드에서 통합 관리하되 실제 연산은 현장 장비에서 처리하는 클라우드 관리형 엣지로, 응답자의 68%가 이를 도입했다고 답했다. 별도 운영 체계를 새로 짓기보다 클라우드의 장점과 현장 처리의 효율을 동시에 취하려는 선택이다.

확장 속도는 빠르지만 걸림돌도 만만치 않다. 응답 기업의 51%는 경제 불확실성을 가장 큰 투자 제약으로 꼽았고, 규제 부담과 조직 내부 과제(각 48%), AI 인재 부족(40%)이 뒤를 이었다. 그럼에도 기업들이 AI 팩토리에서 기대하는 핵심 가치는 혁신 가속(71%), 리스크 관리 강화(64%), 토큰 사용 최적화(59%) 순이었다.

AI 예산 3.2배 폭증, HBM과 전기가 새 병목이 된다

3년 뒤 AI 인프라 예산은 지금의 3배 이상으로 뛴다. 딜로이트 조사에서 응답자의 86%가 향후 3년간 AI 인프라 예산이 늘 것으로 봤고, 전체 평균으로 보면 2025년 6,600만 달러에서 2028년 2억 800만 달러로 3.2배 증가한다.

AI 인프라 예산 3.2배 증가 전망 (자료: 딜로이트, ‘AI 네이티브 시대, 인프라 경쟁 본격화’, 2026)

대기업은 최대 3.9배까지 확대될 전망이다. 회사 IT 예산에서 AI가 차지하는 몫이 매년 커진다는 뜻이며, 이제 AI 투자는 선택이 아니라 고정비에 가까워지고 있다.

돈만 문제가 아니다. AI를 돌리는 물리적 부품과 전기까지 부족해지고 있다. AI 연산의 핵심인 고대역폭 메모리(HBM)와 반도체 원판인 웨이퍼 가격이 오르는데, 웨이퍼는 약 20% 상승이 예상된다. 여기에 AI 팩토리가 커질수록 전력 확보가 새로운 과제로 떠올랐다. 조사에 참여한 리더의 47~48%는 전력망 공급만으로는 부족해 자체 발전 설비나 외부 발전소를 함께 활용할 계획이라고 답했다. AI 팩토리를 짓는 일이 단순한 전산 투자가 아니라 발전소를 함께 두고 벌이는 대형 산업 프로젝트로 바뀌고 있는 것이다.

AI 확장의 진짜 병목은 기술이 아니라 사람이다

AI를 키우려는 기업들이 부딪히는 가장 큰 벽은 놀랍게도 기술이 아니라 사람이었다. 딜로이트 조사에서 응답 기업의 절반 이상이 데이터 엔지니어, 보안·컴플라이언스 전문가, AI 운영 엔지니어를 이미 확보했다고 답했지만, AI를 대규모로 키우기에는 여전히 인력이 부족하다고 봤다. AI 인프라 운영을 맡을 데이터 엔지니어는 57%가 확보했지만 나머지는 아직 채우지 못했고, 로봇 시스템 엔지니어처럼 새로 떠오르는 분야는 확보율이 39%에 그쳤다.

더 큰 문제는 부서 사이의 실력 차이다. IT 부서는 81%가 AI 확산에 필요한 역량을 갖췄다고 자평한 반면, 사업과 제품 부서는 65%만 그렇다고 답해 16%포인트의 격차가 벌어졌다. AI 기술은 IT팀이 준비해도, 정작 그 AI로 새 제품을 만들고 돈을 벌어야 할 현장 부서가 따라가지 못하는 상황이다. 아무리 좋은 공장을 지어도 이를 다룰 숙련공이 없으면 멈춰 서듯, AI도 결국 사람에서 승부가 갈린다. 지금 회사에서 AI 도구는 늘었는데 정작 쓸 줄 아는 사람이 부족하다고 느낀다면, 그것이 바로 이 조사가 짚은 병목의 현장이다.

지금의 3년이 AI 경쟁의 승패를 가른다

이번 보고서를 관통하는 메시지는 분명하다. AI 경쟁의 무게중심이 ‘더 똑똑한 모델’에서 ‘더 경제적이고 안정적으로 운영하는 능력’으로 넘어갔다는 것이다. 모델 성능은 어느 기업이나 비슷하게 따라잡을 수 있지만, 이를 대규모로 값싸게 돌릴 공장과 전기, 그리고 사람은 하루아침에 갖춰지지 않는다. 딜로이트가 앞으로 3년을 승부의 분기점으로 본 이유도 여기에 있다.

다만 이 전망은 미국 연매출 5억 달러 이상 대기업 리더 515명을 대상으로 한 조사라는 점은 염두에 둘 필요가 있다. 국내 기업이나 중소 규모 조직에는 예산과 전력 조건이 다르게 적용될 가능성이 있다. 그럼에도 AI 비용이 눈덩이처럼 불어나고 인재와 전력이 새 병목으로 떠오른다는 큰 흐름은 규모를 가리지 않고 번질 것으로 보인다. 결국 던져야 할 질문은 ‘AI를 도입할 것인가’가 아니라 ‘AI를 얼마나 효율적으로, 책임 있게 확장할 것인가’로 바뀌고 있다. 그 답을 먼저 준비하는 쪽이 다음 3년의 주도권을 쥐게 될 것이다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. AI 팩토리가 정확히 무엇인가요?
AI 팩토리는 고성능 컴퓨터와 전용 소프트웨어를 한곳에 모아 AI를 공장처럼 대규모로 가동하는 운영 환경입니다. 텍스트, 음성, 이미지 같은 다양한 데이터를 처리하며, 기업이 AI를 전사적으로 안정적으로 쓸 수 있게 뒷받침하는 핵심 기반입니다.

Q. 토큰 소비량이 늘면 왜 비용이 커지나요?
토큰은 AI가 글과 데이터를 처리하는 기본 단위이고, AI를 많이 쓸수록 토큰도 많이 소비되어 그만큼 비용이 늘어납니다. 특히 최근 AI는 답하기 전에 스스로 따져보는 ‘사고 토큰’을 추가로 쓰기 때문에, 예전보다 같은 작업에도 더 많은 연산이 필요해졌습니다.

Q. 우리 회사도 AI 인프라 경쟁에 대비해야 하나요?
이번 조사는 미국 대기업을 대상으로 했지만, AI 비용 증가와 인재 부족이라는 흐름은 규모와 상관없이 확산될 가능성이 높습니다. 당장 대규모 투자가 어렵다면 토큰을 효율적으로 관리하는 방식과 AI를 다룰 수 있는 인력 육성부터 준비하는 것이 현실적인 출발점입니다.

기사에 인용된 리포트 원문은 딜로이트 인사이트에서 확인할 수 있다.
리포트명: AI 네이티브 시대, 인프라 경쟁 본격화 (딜로이트 기업 AI 인프라 조사, 2028년 전망)
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.