마이크로소프트가 7월부터 사업부별로 AI 토큰 예산 목표를 두고 개별 엔지니어가 자신의 사용량을 확인하도록 했다. 현지 시각 8월 5일 CNBC의 보도다.

제이 파리크(Jay Parikh) 코어 AI 총괄 부사장은 사내 메일에서 “토큰맥싱은 우리가 최적화하려는 목표가 아니다”라며 “토큰당 임팩트를 최적화한다”고 적었다. 토큰은 모델이 언어를 처리하는 최소 단위로, 사용량이 곧 비용으로 이어진다. 마이크로소프트는 사내 대시보드를 열어 직원과 관리자가 개인별 토큰 사용량을 실시간으로 확인할 수 있게 했다.

사내 기본 모델은 다른 모델보다 저렴한 오픈AI GPT-5.6으로 바뀌었고, 직원용 깃허브 코파일럿에도 같은 기준이 적용됐다. 마이크로소프트는 앞서 5월 익스피리언스·디바이스 부문에서 클로드 코드 라이선스 대부분을 해지한 바 있다.

내부 가이드라인을 보면 상당수 엔지니어가 월 수백 달러에서 수천 달러 수준의 토큰을 쓰고 있다. 에이전트형 AI는 한 번의 요청에 여러 차례 모델 호출과 도구 실행, 검색, 재시도, 백그라운드 작업이 따라붙어 일반 챗봇보다 추론 사용량이 훨씬 크다. 수천 명의 엔지니어가 매일 이런 시스템을 쓰면 작은 비효율도 큰 금액으로 바뀐다.

마이크로소프트는 여전히 인프라와 모델, 코파일럿 제품, AI 코딩 도구에 가장 많이 투자하는 기업 가운데 하나다. 이번 조치는 도입이 끝난 뒤에 남는 비용 관리 문제를 다룬 것이다.

자세한 내용은 CNBC에서 확인할 수 있다.

이미지 출처: 마이크로소프트