2년 전 챗GPT(ChatGPT)가 세상을 뒤흔들면서 모든 회사들이 AI 도입에 열을 올렸다. 실제로 10개 회사 중 8개가 지금 AI를 쓰고 있다. 1년 전만 해도 절반 정도였는데 크게 늘어난 셈이다. 하지만 놀라운 사실이 있다. AI를 도입한 회사 중 80%가 "AI 때문에 돈을 더 벌었다"고 말하지 못하고 있다. 세계적인 컨설팅 회사 맥킨지는 이런 현상을 "AI의 역설"이라고 부른다. 모든 회사가 AI를 쓰지만 실제로는 별다른 효과를 보지 못한다는 뜻이다.

왜 이런 일이 일어날까? 대부분의 회사들이 AI를 잘못 쓰고 있기 때문이다. 지금까지는 직장인들이 이메일 쓰거나 회의록 정리할 때 AI의 도움을 받는 정도였다. 개인의 업무 속도는 빨라졌지만, 회사 전체로 보면 큰 변화가 없었던 것이다. 마치 모든 직원에게 더 빠른 계산기를 나눠준 것과 비슷하다. 반면 정말 중요한 사업 과정에 AI를 활용하는 회사들은 거의 없다. 90%의 AI 프로젝트가 시험 단계에서 멈춰 있다. 실제 업무에 제대로 적용하지 못하고 있는 셈이다.

AI가 스스로 판단하고 일하는 시대가 온다

이제 완전히 새로운 종류의 AI가 등장했다. 바로 '에이전트 AI'다. 기존 AI가 사람의 질문에 답하는 수동적인 도구였다면, 에이전트 AI는 스스로 목표를 정하고 계획을 세워서 일을 처리하는 능동적인 조수다. 예를 들어보자. 온라인 쇼핑몰에서 기존 AI는 고객이 "이 옷 어때요?"라고 물으면 답변만 해줬다. 하지만 에이전트 AI는 고객의 과거 구매 내역을 분석하고, 지금 보고 있는 상품과 잘 어울리는 다른 상품을 찾아서 스스로 추천한다. 심지어 재고가 부족하면 알아서 공급업체에 주문까지 넣을 수 있다.

실제로 맥킨지가 조사한 사례를 보면 놀라운 결과들이 나타나고 있다. 어떤 은행은 에이전트 AI를 써서 오래된 컴퓨터 시스템을 새것으로 바꾸는 작업을 50% 더 빠르게 끝냈다. 또 다른 회사는 데이터 분석 업무에서 60% 이상 효율이 올라갔고, 1년에 30억 원을 절약할 수 있게 됐다. 맥킨지 연구에 따르면, 이런 방식으로 바꾸면 고객 문제 해결 시간이 90%까지 줄어들고, 전체 문제의 80%를 AI가 혼자서 처리할 수 있다고 한다.

기존 업무에 AI 추가하는 게 아닌, 업무 과정 자체를 AI 중심으로

하지만 에이전트 AI를 제대로 활용하려면 지금까지와는 완전히 다른 접근이 필요하다. 단순히 기존 업무에 AI를 덧붙이는 것이 아니라, 업무 과정 자체를 AI 중심으로 다시 만들어야 한다. 맥킨지는 이를 위해 '에이전틱 AI 메시'라는 새로운 시스템이 필요하다고 말한다. 이는 여러 개의 AI 에이전트들이 서로 협력해서 일할 수 있도록 연결해 주는 플랫폼이다. 마치 오케스트라의 지휘자처럼 각각의 AI들이 조화롭게 협력할 수 있게 도와준다.

하지만 가장 어려운 문제는 기술이 아니다. 바로 사람들이 AI와 함께 일하는 것에 익숙해지는 일이다. 직원들이 AI를 믿고 맡길 수 있는지, AI가 실수했을 때 어떻게 대처할지, AI가 너무 많아져서 관리하기 어려워지지는 않을지 등 새로운 고민들이 생긴다.

CEO가 나서야 하는 중요한 시점… 회사 전체를 AI 중심으로 바꿔야 해

맥킨지는 이제 기업의 최고경영자(CEO)들이 직접 나서서 AI 전략을 바꿔야 할 때라고 강조한다. 지금까지의 "AI 실험해 보기" 단계는 끝내고, 본격적으로 회사 전체를 AI 중심으로 바꾸는 "AI 혁신" 단계로 넘어가야 한다는 것이다.

이를 위해서는 세 가지가 필요하다. 첫째, 지금까지 해온 AI 실험들을 정리하고 정말 효과 있는 것들만 골라내야 한다. 둘째, AI를 관리하는 새로운 조직과 규칙을 만들어야 한다. 셋째, 가장 중요한 업무부터 시작해서 AI로 완전히 바꾸는 프로젝트를 시작해야 한다. 맥킨지는 "에이전트 AI는 단순한 기술 발전이 아니라 회사가 일하는 방식 자체를 바꾸는 혁명"이라고 말한다. 이 변화에 빠르게 적응하는 회사들은 경쟁에서 앞서갈 것이고, 그렇지 못한 회사들은 뒤처질 수밖에 없다는 경고도 함께 전했다.

FAQ

Q: 에이전트 AI는 일반 AI와 어떻게 다른가요?

A: 일반 AI는 사람이 질문하면 답변하는 수동적인 도구입니다. 하지만 에이전트 AI는 스스로 목표를 정하고 계획을 세워 여러 가지 일을 연결해서 처리할 수 있는 능동적인 조수입니다.

Q: 에이전트 AI 때문에 사람 일자리가 없어질까요?

A: 에이전트 AI는 사람을 대체하기보다는 사람과 협력하는 방향으로 발전하고 있습니다. 반복적이고 단순한 업무는 AI가 맡고, 사람은 더 창의적이고 복잡한 판단이 필요한 일에 집중할 수 있게 됩니다.

Q: 우리 회사도 에이전트 AI를 도입해야 하나요?

A: 에이전트 AI는 이제 선택이 아닌 필수가 되고 있습니다. 하지만 무작정 도입하기보다는 회사의 핵심 업무부터 시작해서 체계적으로 접근하는 것이 중요합니다.

해당 기사에 인용된 리포트 원문은 맥킨지에서 확인 가능하다.

리포트 명: Seizing the agentic AI advantage: A CEO playbook to solve the gen AI paradox and unlock scalable impact with AI agents

이미지 출처: 맥킨지

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.