MIT가 발표한 리포트에 따르면, 300개 이상의 AI 프로젝트를 분석한 결과, 기업들의 생성형AI 투자 300~400억 달러 중 95%가 수익을 내지 못하는 것으로 나타났다. 단 5%만이 수백만 달러의 가치를 창출하고 있으며, 나머지는 측정 가능한 성과 없이 멈춰 섰다. 연구진은 이를 '생성형AI 격차'라 명명했으며 핵심 원인은 인프라나 규제가 아니라 시스템이 피드백을 반영하고 적응하는 '학습 능력 부족'에 있다고 분석했다.

챗GPT는 80% 도입했지만 맞춤형 AI는 5%만 성공

챗GPT와 코파일럿 같은 일반 도구는 조직의 80% 이상이 탐색하거나 파일럿을 진행했고, 약 40%가 배포했다. 하지만 개인 생산성만 높일 뿐 손익에는 영향을 주지 못했다. 반면 맞춤형 엔터프라이즈 시스템은 60%가 평가했지만 20%만 시범 단계에, 5%만 실제 운영에 도달했다. 대부분은 취약한 워크플로, 맥락 학습 부족, 일상 운영과의 불일치로 실패했다. 확장의 핵심 장벽은 인프라나 규제가 아니라, 피드백을 반영하고 맥락에 적응하는 학습 능력 부족이라고 분석했다.

사용자가 원하는 것, "피드백으로 학습하는 시스템"

52개 조직을 대상으로 한 조사에서 확장의 주요 장벽은 새로운 도구 채택 저항과 모델 출력 품질 우려였다. 흥미롭게도 개인적으로 챗GPT를 사용하는 사용자들도 엔터프라이즈 시스템에서는 이를 신뢰할 수 없다고 평가했다. 중견 기업 변호사는 5만 달러짜리 계약 분석 도구 대신 챗GPT를 사용하며 "챗GPT가 일관되게 더 나은 출력을 생성한다"고 말했다.

미션 크리티컬 업무 채택을 막는 장벽으로는 "피드백으로부터 학습하지 않는다"(65%), "매번 수동 맥락이 필요하다"(55%), "워크플로에 맞춤화할 수 없다"(45%), "예외 상황에서 고장 난다"(35%)가 꼽혔다. 이러한 피드백은 생성형AI 격차의 근본적인 학습 격차를 직접 보여준다. 사용자들은 소비자 LLM 인터페이스의 유연성과 반응성을 높이 평가하지만, 현재 도구들이 제공할 수 없는 지속성과 맥락 인식을 필요로 한다.

직원 90%는 개인 AI 도구 사용, 회사는 40%만 구독

공식적으로 LLM 구독을 구매한 회사는 40%에 불과하지만, 직원의 90% 이상이 개인 AI 도구를 업무에 정기적으로 사용한다. 이러한 '그림자 AI 경제'는 개인이 유연한 도구에 접근할 때 생성형AI 격차를 성공적으로 넘을 수 있음을 보여준다.

많은 경우 그림자 AI 사용자들은 개인 도구를 통해 주간 업무량의 상당 부분을 처리하면서 하루에 여러 번 LLM을 사용한다고 보고했지만, 회사의 공식 AI 이니셔티브는 파일럿 단계에 머물러 있었다. 사용자들이 챗GPT를 선호하는 이유는 "답변이 더 좋다"(85%), "인터페이스에 익숙하다"(70%), "더 신뢰한다"(60%)였다.

외부 파트너십 67% 성공, 내부 개발은 33%

외부 파트너십을 통한 학습 가능 도구는 67%의 배포 성공률을 보인 반면, 내부 개발은 33%에 그쳤다. 전략적 파트너십 파일럿은 내부 구축보다 전체 배포 가능성이 2배 높았고, 직원 사용률도 거의 두 배였다.

성공한 조직들은 AI 스타트업을 소프트웨어 벤더가 아니라 BPO처럼 대우하며, 내부 프로세스에 맞춘 깊은 맞춤화를 요구하고, 모델 벤치마크가 아닌 운영 결과로 평가하며, 중앙 연구소가 아닌 현장 관리자로부터 AI 프로젝트를 소싱했다. 이러한 파트너십은 종종 더 빠른 가치 실현 시간, 더 낮은 총비용, 운영 워크플로와의 더 나은 정렬을 제공했다.

예산은 영업에 쏟지만 실제 ROI는 백오피스에서 나온다

임원들에게 가상의 100달러 배분을 요청한 결과, 영업 및 마케팅 기능이 약 70%의 AI 예산을 차지했다. 이는 데모 볼륨이나 이메일 응답 시간 같은 지표가 이사회 KPI와 직접 일치하기 때문이다. 반면 법무, 조달, 재무 기능의 효율성은 측정하기 어려워 투자가 부족하다.

하지만 가장 극적인 비용 절감은 백오피스 자동화에서 나왔다. 최고 수준 조직들의 성과를 보면, 프론트오피스에서는 리드 자격 심사 속도 40% 향상, 고객 유지율 10% 개선이 있었다. 백오피스에서는 고객 서비스와 문서 처리의 BPO 제거로 연간 200만~1,000만 달러 절감, 크리에이티브 비용 30% 감소, 위험 관리에서 연간 100만 달러 절감 등이 있었다.

주목할 점은 이러한 성과가 내부 인력 감축 없이 외부 지출 감소로 달성됐다는 것이다. 이러한 패턴은 영업 및 마케팅이 대부분의 관심과 투자를 차지하는 동안, 백오피스 자동화가 더 극적이고 지속 가능한 수익을 제공할 수 있음을 시사한다.

학습하는 AI가 답이다, 18개월 내 판도 결정

생성형AI의 학습 격차를 해결하는 핵심은 '에이전틱 AI(Agentic AI)'다. 이는 사람처럼 경험으로부터 학습하고 기억하는 AI 시스템이다. 현재 대부분의 AI는 대화할 때마다 처음부터 설명해야 하지만, 에이전틱 AI는 이전 대화를 기억하고, 피드백을 반영하며, 시간이 지날수록 똑똑해진다.

이미 일부 기업들이 실험을 시작했다. 고객 문의를 처음부터 끝까지 혼자 해결하는 고객센터 AI, 일상적인 금융 거래를 스스로 승인하는 회계 AI, 여러 채널의 고객 반응을 추적하고 분석하는 영업 AI가 그 예다. 이들은 단순히 명령을 수행하는 것이 아니라 상황을 기억하고 스스로 판단한다.

마이크로소프트 365 코파일럿과 오픈AI 챗GPT도 이러한 메모리 기능을 추가하고 있다. 더 나아가 MCP(모델 컨텍스트 프로토콜), A2A(에이전트 투 에이전트), NANDA 같은 새로운 기술 표준이 등장하면서 서로 다른 AI들이 협력할 수 있는 환경이 만들어지고 있다.

문제는 시간이다. 17명의 기업 구매 담당자 인터뷰와 공개 자료 분석 결과, 향후 18개월 내에 주요 기업들이 학습 가능한 AI 시스템을 도입하고 나면 이를 바꾸기가 거의 불가능해진다. 50억 달러 규모 금융회사 CIO는 "일단 우리 업무 방식을 학습한 시스템에 투자하면, 다른 시스템으로 바꾸는 비용이 엄청나다"고 말했다.

결국 지금부터 18개월이 학습하는 AI를 선점하느냐, 아니면 정적인 도구에 갇히느냐를 결정하는 분기점이다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1: 생성형AI 도입이 실패하는 가장 큰 이유는 무엇인가요?

A: 학습 능력 부재가 핵심입니다. 대부분의 시스템은 피드백을 유지하거나 맥락에 적응하지 못하고 시간이 지나도 개선되지 않습니다. 60%가 평가했지만 20%만 시범에, 5%만 실제 운영에 도달했습니다.

Q2: 직원들은 왜 개인 챗GPT를 쓰고 회사 AI는 안 쓰나요?

A: 직원 90%가 개인 AI 도구를 쓰지만 회사 구독은 40%뿐입니다. 챗GPT가 더 나은 답변(85%), 익숙한 인터페이스(70%), 높은 신뢰도(60%)를 제공하기 때문입니다. 반면 기업 도구는 학습하지 않고(65%), 매번 맥락 입력이 필요하며(55%), 맞춤화가 안 됩니다(45%).

Q3: 생성형AI로 비용 절감에 성공한 기업의 전략은?

A: 외부 파트너십이 67% 성공률을 보인 반면 내부 개발은 33%였습니다. 실제 ROI는 내부 감축이 아닌 외부 비용 절감에서 나왔습니다. BPO 제거로 연간 200만~1,000만 달러, 크리에이티브 비용 30% 감소, 위험 관리 100만 달러 절감 등이 있었습니다.

해당 기사에 인용된 리포트 원문은 링크에서 확인 가능하다.

리포트명: The GenAI Divide: STATE OF AI IN BUSINESS 2025

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.