가트너가 2030년까지 1조 개, 즉 1000B 파라미터 규모의 거대언어모델(LLM) 추론 비용이 2025년 대비 90% 이상 낮아질 것이라는 전망을 내놨다. 반도체와 인프라의 효율성 개선, 모델 설계 혁신, 칩 활용도 증대, 추론 특화 반도체 확대, 엣지 디바이스 적용 증가 등이 비용 하락을 이끌 핵심 요인으로 지목됐다. 다만 토큰 단가 하락이 곧바로 기업의 AI 총비용 절감으로 이어지지는 않을 것이라는 점도 함께 강조됐다.

가트너에 따르면 이번 분석에서 AI 토큰은 생성형 AI 모델이 처리하는 기본 데이터 단위로, 약 3.5바이트, 약 4자에 해당하는 데이터로 정의됐다. 이 기준 아래 가트너는 2030년 LLM의 비용 효율성이 2022년 초기 동일 규모 모델과 비교해 최대 100배까지 향상될 수 있다고 내다봤다.

윌 소머 가트너 시니어 디렉터 애널리스트는 이러한 비용 절감 배경으로 반도체 및 인프라 효율성 개선과 모델 설계 혁신, 칩 활용도 증가, 추론 특화 반도체 확대, 특정 활용 사례에서의 엣지 디바이스 적용 확대를 제시했다. 초거대 모델 운영의 경제성이 시간이 갈수록 개선되겠지만, 비용 절감의 효과는 어떤 하드웨어 조합과 운용 구조를 택하느냐에 따라 크게 달라질 수 있다는 의미다.

가트너는 이번 전망에서 두 가지 반도체 시나리오를 바탕으로 비용 구조를 분석했다. 하나는 최첨단 반도체를 기반으로 모델을 처리하는 프런티어 시나리오이고, 다른 하나는 다양한 기존 반도체를 혼합 활용하는 레거시 혼합 시나리오다. 분석 결과 레거시 혼합 시나리오는 연산 성능이 상대적으로 낮아 프런티어 시나리오보다 비용이 상당히 높은 것으로 나타났다. 같은 모델이라도 어떤 반도체 인프라 위에서 추론을 수행하느냐에 따라 단가 경쟁력 차이가 크게 벌어질 수 있다는 해석이 가능하다.

가트너는 그러나 토큰 비용 하락만을 근거로 AI 활용의 대중화나 기업 비용 부담 완화를 단정해서는 안 된다고 짚었다. 특히 고도화된 AI 기능일수록 더 많은 토큰을 요구하는 구조적 특성이 있기 때문이다. 대표적으로 AI 에이전트는 기존 챗봇보다 작업당 5배에서 최대 30배 더 많은 토큰을 필요로 하며, 수행 가능한 업무 범위 역시 훨씬 넓다. 이 때문에 토큰 단가가 하락하더라도 토큰 사용량 증가 속도가 이를 앞지를 경우 전체 추론 비용은 오히려 늘어날 수 있다는 분석이다.

소머 애널리스트는 제품 총괄 책임자들이 범용 토큰 가격 하락을 고급 추론 역량의 대중화로 오해해서는 안 된다고 지적했다. 기본적인 AI 기능은 사실상 제로 비용에 가까워지고 있지만, 고급 추론을 가능하게 하는 컴퓨팅 자원과 시스템은 여전히 희소하다는 설명이다. 현재 낮은 토큰 비용에 기대 아키텍처 비효율을 방치하는 기업은 향후 에이전트 기반 AI를 본격 확장하는 단계에서 한계에 직면할 수 있다고도 덧붙였다.

이번 전망은 생성형 AI 비용 논의의 초점이 단순한 토큰 단가에서 전체 시스템 아키텍처와 워크로드 배분 전략으로 이동하고 있음을 보여준다. 가트너는 향후 가치가 다양한 모델 포트폴리오 전반에서 워크로드를 효율적으로 오케스트레이션할 수 있는 플랫폼에 집중될 것으로 봤다. 반복적이고 빈도가 높은 업무는 더 효율적인 소형 모델이나 도메인 특화 언어 모델로 처리하고, 비용이 높은 프런티어급 모델은 고부가가치의 복잡한 추론 작업에만 제한적으로 활용해야 한다는 것이다.

이 같은 분석은 기업 AI 전략에도 직접적인 시사점을 던진다. 기본적인 질의응답이나 반복 업무 자동화처럼 표준화된 작업은 경량 모델과 특화 모델로 전환해 비용을 낮추고, 복합적인 의사결정 지원이나 고난도 분석처럼 정밀성이 필요한 영역에만 대형 프런티어 모델을 투입하는 방식이 요구된다는 설명이다. 결국 미래 경쟁력은 가장 비싼 모델을 얼마나 많이 쓰느냐보다, 어떤 업무에 어떤 모델을 배치하고 이를 얼마나 정교하게 운영하느냐에 달릴 것으로 보인다.

가트너의 이번 전망은 생성형 AI 시장이 단순 확장 국면에서 비용 효율성과 운영 최적화 중심 단계로 진입하고 있음을 보여준다. 초거대 모델의 추론 단가는 빠르게 낮아질 수 있지만, 기업이 체감하는 실제 AI 비용은 서비스 구조와 활용 방식, 반도체 선택, 모델 조합 전략에 따라 전혀 다른 결과로 이어질 수 있다는 점에서다. 토큰 가격 하락 자체보다 이를 전제로 한 시스템 설계 역량이 향후 기업 AI 경쟁력의 핵심 변수로 부상할 가능성이 커지고 있다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지