글로벌 기업들이 단순한 생성형 AI 실험을 넘어 자율적으로 작동하는 AI 에이전트의 본격 도입에 나서고 있다. 글로벌 컨설팅 기업 캡제미니의 리서치 인스티튜트가 15개국 1,100개 기업을 대상으로 실시한 조사에 따르면, 생성형 AI 도입률이 2년 만에 5배 증가하며 기업 운영의 패러다임을 바꾸고 있다. 하지만 급속한 확산과 함께 예상치 못한 비용 부담과 신뢰성 문제도 함께 대두되고 있다.

텔레콤·소비재·항공방산 업계가 선도하는 생성형 AI 도입 열풍… 2년 만에 5배 급증

캡제미니의 조사에 따르면 생성형 AI를 적어도 부분적으로 도입한 기업의 비율이 2023년 6%에서 2025년 30%로 급증했다. 전체 조사 대상 기업의 93%가 이미 생성형 AI를 탐색하거나 활용하고 있어 AI가 더 이상 선택이 아닌 필수가 되었음을 보여준다.

업계별로는 통신업계가 선두주자로 떠올랐다. 통신 기업들의 49%가 2025년 생성형 AI를 부분적 또는 완전히 확산 구현했으며, 이는 2024년 대비 두 배 이상 증가한 수치다. 소비재와 항공우주방산 업계도 40% 이상의 기업이 여러 기능이나 위치에서 생성형 AI를 구현하고 있다.

실제 사례를 보면 호주 통신업체 텔스트라(Telstra)는 'Ask Telstra'라는 생성형 AI 도구를 도입해 고객 상담원들이 고객 문의에 대한 답변을 찾고 고객 이력을 요약하는 시간을 단축했다. 상담원의 80%가 고객 상호작용에 긍정적 영향을 미쳤다고 평가했으며, 90%는 구현 이후 효율성이 향상되어 후속 통화가 20% 감소했다고 밝혔다.

기능별로는 고객 운영, 마케팅, 리스크 관리, IT 분야가 생성형 AI 구현을 주도하고 있다. 특히 마케팅과 영업/고객 운영, 제품 설계/연구개발, 인사 분야는 지난 12개월간 15%포인트 이상의 높은 도입 증가율을 기록했다.

AI 에이전트 시대 개막, 기업 14%가 이미 도입 완료

더욱 주목할 점은 자율적으로 작동하는 AI 에이전트의 급속한 확산이다. 현재 14%의 기업이 AI 에이전트를 부분적(12%) 또는 완전히(2%) 확산 도입했으며, 23%는 파일럿 프로젝트를 진행 중이다. AI 에이전트를 이미 확산 도입한 기업 중 45%는 다중 에이전트 시스템을 파일럿하거나 확산하고 있어 도입 속도가 매우 빠름을 보여준다.

AI 에이전트는 단순한 도구를 넘어 팀의 일원으로 진화하고 있다. 조사 대상 기업의 59%가 향후 12개월 내 AI를 보강하거나 자율적인 팀 구성원, 또는 다른 AI를 관리하는 감독자로 활용할 계획이라고 답했다. 특히 78%의 기업이 향후 3-5년 내 전체 역할이 아닌 특정 업무에 AI 에이전트를 활용할 것으로 예상한다고 밝혔다.

실제 활용 사례도 다양하다. 폴란드의 크레디 아그리콜(Crédit Agricole Polska)은 고객 서비스 효율성을 높이기 위해 AI 에이전트를 도입해 스마트 분류, 감정 톤 감지, 자동화된 응답, 워크플로 자동화를 수행하고 있다. 그 결과 문서 처리 시간 50% 단축, 월 750시간 이상 절약, 고객 만족도와 팀 사기 향상, 복잡한 사례 해결 가속화를 달성했다.

투자 급증과 함께 비용 부담도 현실화

AI에 대한 투자도 크게 늘고 있다. 기업의 88%가 지난 12개월간 생성형 AI 투자를 평균 9% 이상 증가시켰으며, 61%는 향후에도 이런 증가 추세가 지속될 것으로 전망했다. 현재 기업들은 IT 예산의 12%를 생성형 AI에 할당하고 있으며, 63%가 생성형 AI 전용 예산을 보유하고 있다. 기업 규모별로 보면 연 매출 200억 달러 이상 대기업들은 평균 2억8450만 달러를 생성형 AI에 투자하고 있으며, 10억-49억 달러 규모 기업들도 1억1500만 달러를 투자하고 있다.

하지만 급속한 확산과 함께 비용 부담도 커지고 있다. 기업의 74%가 생성형 AI로 인한 예상치 못한 클라우드 소비 비용 급증을 경험했다고 답했으며, 51%는 확산 속도가 예상보다 빨라 '빌 쇼크'를 겪었다고 밝혔다. 특히 생성형 AI를 파일럿하는 조직의 57%가 빌 쇼크를 경험한 반면, 이를 확산하는 조직은 46%가 경험해 초기 단계에서 비용 관리가 더 어려운 것으로 나타났다.

이에 따라 기업들은 비용 효율적인 소형 언어 모델(SLM) 도입을 늘리고 있다. SLM 사용 계획이 2024년 24%에서 2025년 44%, 2028년에는 92%까지 증가할 예정이다. 기업들이 SLM을 선택하는 주요 이유는 개발 용이성(85%), 비용 효율성(71%), 맞춤화 용이성(69%) 순이었다.

신뢰와 거버넌스 문제는 여전한 과제

AI 도입 확산에도 불구하고 신뢰 문제는 여전히 해결해야 할 과제다. 생성형 AI 의사결정에 대한 전반적인 신뢰도를 묻는 질문에 39%만이 신뢰한다고 답했으며, 44%는 신뢰하지 않는다고 밝혔다. 특히 기업의 71%가 기업용 자율 AI 에이전트를 완전히 신뢰할 수 없다고 답했다. 신뢰를 제한하는 주요 요인으로는 보안 우려(65%), 개인정보 보호 우려(62%), 편향된 결과 위험(51%), 투명성 부족과 출처 확인 불가(47%) 등이 지적됐다.

거버넌스 체계도 AI 도입 속도를 따라가지 못하고 있다. 46%만이 AI 시스템에 대한 거버넌스 정책을 수립했으며, 정책을 수립한 기업 중에서도 47%에서 직원들이 이를 잘 따르지 않는다고 답했다. 또한 47%의 기업이 조직 내 다양한 비즈니스 기능 간 AI 거버넌스가 일관되지 않다고 밝혔다.

최고 AI 책임자(Chief AI Officer)를 두고 있는 기업은 34%에 불과하며, 생성형 AI 우수센터나 가속기를 운영하는 기업도 25%에 그쳤다. 하지만 기업들은 점차 윤리적 가이드라인을 개발하기 시작했다. 70%가 생성형 AI 사용 시기에 대한 가이드라인을 수립했고, 68%가 직원의 윤리적·법적 생성형 AI 도구 사용에 대한 가이드라인을 마련했다.

AI 에이전트 도입 격차, 기업 경쟁력의 새로운 분수령

이번 조사 결과에서 가장 주목할 점은 AI 에이전트 도입 여부가 기업들 사이의 새로운 디지털 격차를 만들어내고 있다는 것이다. 현재 AI 에이전트를 확산 도입한 14%의 기업과 나머지 86% 기업 사이의 간극은 단순한 기술 도입 차이를 넘어서고 있다.

특히 다중 에이전트 시스템을 운영하는 기업들의 경우, 단일 AI 도구를 사용하는 기업 대비 운영 효율성에서 현격한 차이를 보이고 있다. 텔스트라의 사례에서 보듯 후속 통화 20% 감소는 단순한 비용 절감을 넘어 고객 경험의 질적 변화를 의미한다. 이는 AI 에이전트가 인간 직원의 역량을 증강시켜 더 복잡하고 가치 있는 업무에 집중할 수 있게 만들기 때문이다.

더욱 우려스러운 것은 '빌 쇼크' 현상이 기업들의 AI 투자 전략에 미치는 영향이다. 파일럿 단계에서 57%가 겪는 예상치 못한 비용 급증은 많은 기업들이 AI 도입을 성급하게 추진하면서 비용 모델링에 실패하고 있음을 보여준다. 이는 특히 중소기업들에게 AI 도입의 진입 장벽으로 작용할 가능성이 높다. 이러한 부분은 AI의 잠재력을 완전히 활용하지 못하는 근본적 제약으로, 향후 AI 기술 발전과 함께 해결해야 할 핵심 과제로 보인다.

FAQ ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q: AI 에이전트와 기존 AI 도구의 차이점은 무엇인가요?

A: AI 에이전트는 사용자의 명령 없이도 자율적으로 작동하며, 특정 목표 달성을 위해 스스로 판단하고 행동할 수 있습니다. 반면 기존 AI 도구는 사용자의 명령에만 반응하는 수동적 특성을 가집니다.

Q: 기업들이 AI 도입에서 가장 큰 어려움은 무엇인가요?

A: 예상보다 빠른 비용 증가와 적절한 거버넌스 체계 부족이 주요 문제입니다. 특히 74%의 기업이 AI로 인한 클라우드 비용 급증을 경험했으며, 절반 이상이 AI 거버넌스 정책 준수에 어려움을 겪고 있습니다.

Q: AI가 일자리에 미치는 영향은 어떻게 될까요?

A: 보고서에 따르면 AI는 전체 직무를 대체하기보다는 특정 업무를 담당할 가능성이 높습니다. 78%의 기업이 AI 에이전트를 특정 업무 수행용으로 활용할 계획이며, 31%만이 완전한 직무 대체를 고려하고 있습니다.

해당 기사에 인용된 리포트 원문은 캡제미니에서 확인 가능하다.

리포트 명: Harnessing the value of AI: Unlocking scalable advantage

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.