한 IT 서비스 기업의 임원 회의에서 새 인공지능(AI) 기능 도입이 만장일치로 통과됐다. 그런데 “이거 비용이 얼마나 드나요?”라는 질문이 나오자 회의실이 조용해졌다. 아무도 답을 몰랐다. 맥킨지(McKinsey)가 2026년 7월 발표한 보고서에 따르면, 지금 조사에 응한 기업의 93%가 이렇게 AI 예산을 초과하고 있다. AI 핀옵스(FinOps)란 AI 지출과 사용량을 실시간으로 들여다보고 통제해 투자 대비 효과를 끌어올리는 재무 관리 기법을 말하며, 지난 2년간 “일단 쓰고 보자”던 기업들이 예산이 터지고 나서야 이 능력을 부랴부랴 갖추기 시작했다. 매달 나가는 회사 AI 비용이 어디서 새는지 궁금한 사람이라면 이 이야기가 남 일이 아니다.

실험 단계 넘어선 기업 62%, 응답 기업 93%가 예산 초과

그림1. 조사 대상 기업 가운데 예산을 지킨 곳은 5%뿐이고 93%가 AI 예산을 초과했다. (자료: 맥킨지 Enterprise AI FinOps 조사, 2026년 5월)

맥킨지 조사에서 AI를 실험 단계를 넘어 실제 업무에 본격 도입한 기업은 62%였고, 전체 응답 기업의 93%가 AI 예산을 초과했다고 답했다. 숫자만 보면 거의 모든 기업이 계획보다 돈을 더 썼다는 뜻이다. 문제는 초과 폭이다. 맥킨지는 기업이 개별 실험 단계에서 전사 도입 단계로 넘어가면 AI 지출이 약 네 배로 뛴다고 분석했다.

실제로 어떤 기업은 1년치 AI 예산을 몇 달 만에 다 써버려 긴급하게 계약을 다시 협상하고 예상에 없던 자금을 추가로 요청하는 상황까지 벌어졌다. 더 큰 문제는 앞으로다. 조사에 참여한 기업 대다수가 향후 12개월 안에 AI 지출이 최소 25% 더 늘어날 것으로 봤다. 브레이크를 밟지 않으면 새는 돈이 눈덩이처럼 불어난다는 얘기다.

같은 작업인데 비용은 30배 차이, 예측이 불가능한 이유

AI 비용을 관리하기 어려운 근본 원인은 사용량을 예측할 수 없다는 데 있다. 스탠퍼드 디지털 이코노미 랩(Stanford Digital Economy Lab) 연구를 인용한 맥킨지 보고서에 따르면, 똑같은 작업을 시켜도 AI가 소비하는 토큰(token, AI가 글을 처리하는 최소 단위로 사용량에 따라 요금이 매겨진다)량이 최대 30배까지 차이 났다.

같은 일을 시켰는데 어떤 날은 100원, 어떤 날은 3,000원이 나오는 셈이라 미리 예산을 잡기가 어렵다. 여기에 비용이 숨어 흐른다는 점도 문제를 키운다. 부서마다 알아서 AI 서비스를 사들이고, 직원들은 회사 IT 부서를 거치지 않고 각자 AI 업무 도구를 만든다. 코딩을 잘 모르면서 감으로 프로그램을 짜는 이른바 ‘바이브 코더(vibe coder)’가 자기도 모르게 매일 수백만 개의 토큰을 잡아먹는 자동 프로그램을 만들어놓기도 한다. 맥킨지는 이렇게 여러 곳에 흩어져 추적되지 않는 AI 지출이 전체의 20~30%에 달한다고 분석했다. 회사가 쓰는 AI 비용의 3분의 1가량은 어디에 쓰였는지조차 모른다는 뜻이다.

요금제가 바뀌었다, 무제한에서 쓴 만큼 내는 방식으로

과거 소프트웨어는 직원 한 명당 정해진 요금을 내는 ‘좌석제’라 아무리 많이 써도 요금이 그대로였지만, AI는 쓴 만큼 요금이 붙는 ‘사용량 기반’ 방식으로 바뀌었다. 예전엔 요금이 사용량을 가려주는 안전망 역할을 했다면, 이제는 많이 쓸수록 비용이 그대로 청구서에 찍힌다. 게다가 관리 체계가 아직 미성숙하다.

AI 지출을 실시간으로 들여다보고 통제하는 이른바 ‘AI 핀옵스(FinOps, AI판 재무 관리 기법)’ 역량을 제대로 갖춘 기업은 20~25%에 불과하다. 나머지 대다수는 비용이 이미 다 나간 뒤에야 초과 사실을 알아차린다. 직원들도 어떤 AI 모델을 골라야 할지 몰라 습관적으로 가장 비싼 최고급 모델을 선택하는 경우가 많다. 간단한 요약 작업에도 값비싼 최신 모델을 쓰는 식이다. 마치 편의점 갈 때 매번 택시를 부르는 것과 비슷하다.

돈을 아끼는 40가지 방법, 핵심은 모델보다 시스템

맥킨지는 AI 비용을 아끼는 방법이 약 40가지에 이르며, 이를 잘 활용한 기업은 AI 비용을 20~30%까지 줄일 수 있다고 밝혔다. 실제로 조사 대상 기업의 약 3분의 1이 지난 3개월간 적극적인 최적화로 20~30퍼센트를 절감했다. 대부분 기업은 “어떤 모델을 쓸까”만 고민하지만, 가장 큰 절감은 토큰을 잡아먹는 시스템 자체를 손볼 때 나온다.

대표적인 방법이 ‘프롬프트 캐싱(prompt caching)’이다. 매번 반복되는 지시문을 저장해뒀다가 재사용하면 반복 입력 비용을 최대 약 90퍼센트까지 줄일 수 있다. 이 밖에도 간단한 작업은 저렴한 모델로 넘기기, 불필요하게 긴 지시문 줄이기, AI 답변 길이 제한하기, 자동 프로그램이 쓸데없이 반복 작업하지 않도록 횟수 제한 걸기, 급하지 않은 요청은 한꺼번에 묶어 처리하기 같은 방법이 비용을 크게 낮춘다. 무조건 값비싼 모델을 쓰기보다 작업 난이도에 맞는 가장 저렴한 모델로 보내는 것이 핵심 원칙이다.

이제 사야 할 것은 AI가 아니라 통제 능력이다

맥킨지가 CIO(최고정보책임자)에게 던지는 조언의 핵심은 역설적이다. 지난 3년간 직원들에게 “AI를 더 많이 쓰라”고 독려해왔다면, 이제는 “AI를 더 똑똑하게 쓰라”고 방향을 틀어야 한다는 것이다. 다만 보고서는 비용이 무섭다고 AI 프로그램을 멈추는 것은 실수라고 못박는다. 더 나은 길은 지출을 무작정 줄이는 것이 아니라 가장 가치가 큰 업무에 돈이 흘러가도록 수요를 설계하는 것이다.

이를 위해 비용을 실제 사용한 부서에 정확히 청구하는 책임 구조를 만들고, 저렴한 모델로 자동 연결하거나 예산 한도를 넘으면 경고를 보내는 통제 장치를 AI 시스템 안에 직접 심으라고 제안한다. 맥킨지는 내부적으로 직원이 AI를 쓰는 순간에 더 나은 지시문 작성법과 모델 선택법을 실시간으로 코치해주는 도구를 시험 중이라고 밝혔다.

다만 이런 절감 효과가 산업과 기업 규모를 가리지 않고 똑같이 나타날지는 조금 더 지켜볼 필요가 있다. 분명한 것은 AI 비용이 이미 기업에서 가장 빠르게 커지는 지출 항목이 됐고, 이 돈의 흐름을 읽고 통제하는 능력이 곧 경쟁력이 되는 시대가 왔다는 점이다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. AI 토큰이 정확히 무엇인가요?
토큰은 AI가 글을 읽고 쓸 때 처리하는 최소 단위입니다. 단어나 글자 조각 단위로 나뉘며, AI 서비스는 이 토큰을 얼마나 주고받았는지에 따라 요금을 매깁니다. 긴 문서를 넣거나 답변이 길어질수록 토큰이 많이 쓰여 비용이 올라갑니다.

Q. 기업들이 AI 예산을 초과하는 가장 큰 이유는 무엇인가요?
사용량을 예측하기 어렵기 때문입니다. 같은 작업도 상황에 따라 토큰 소비량이 최대 30배까지 차이 나고, 여러 부서가 제각각 AI를 사들여 전체 지출을 한눈에 보기 어렵습니다. 그 결과 비용이 이미 다 나간 뒤에야 초과 사실을 알게 됩니다.

Q. AI 비용을 줄이려면 무엇부터 해야 하나요?
먼저 회사 전체가 AI에 얼마를 쓰는지 한곳에서 볼 수 있는 체계를 만드는 것이 출발점입니다. 그다음 간단한 작업은 저렴한 모델로 보내고, 반복되는 지시문을 저장해 재사용하며, 답변 길이를 제한하는 방법으로 비용을 크게 낮출 수 있습니다.

기사에 인용된 리포트 원문은 맥킨지(McKinsey)에서 확인할 수 있다.
리포트명: The cost of intelligence: How CIOs can manage AI demand at scale (2026년 7월 20일), Burning through the AI budget (2026년 7월 30일)
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.