지난 몇 년 동안 회의실에서 들은 문장 가운데 가장 비싼 문장을 하나 고르라면 나는 주저 없이 이것을 고르겠다. 인공지능 전환을 하려면 디지털 전환부터 끝내야 한다. 틀린 말처럼 들리지 않는다. 오히려 신중하고 책임감 있는 말처럼 들린다. 그래서 더 비싸다. 하비탄AI 팀이 스무 곳 넘는 회사와 기관의 AI 전환을 함께하면서 결과를 가른 변수가 무엇이었는지 돌아보면 기술도 아니었고 예산도 아니었다. 순서였다. 그리고 저 문장을 굳게 믿는 담당자가 있는 회사일수록 더 오래 걸렸고 더 많이 썼고 덜 나왔다. 예외를 아직 보지 못했다.

이 글은 그 순서가 왜 비용이 되는지, 그리고 대기업이 아닌 중소기업과 지자체는 어디서 시작해야 하는지에 대한 현장의 기록이다. 미리 밝혀 두자면 나는 이 문제에서 결백한 관찰자가 아니다. 컨설팅 회사는 데이터 정비 사업과 시스템 구축 사업을 팔아서 먹고사는 곳이고, 나 역시 그 테이블의 한쪽에 앉아 있다. 그러니 이 글은 업계의 한 사람이 자기 밥그릇에 대해 쓰는 반성문에 가깝다.

순서를 믿은 회사가 치른 값

패턴은 늘 비슷하다. 첫 회의에서 담당자가 말한다. “우리는 데이터가 정리돼 있지 않아서요, 디지털 전환부터 끝내고 AI를 하겠습니다.” 회사는 데이터 정비와 시스템 구축 사업을 먼저 발주한다. 그 사업은 범위가 계속 늘어난다. 정비의 기준이 AI가 읽기 좋게가 아니라 시스템에 넣기 좋게라서 끝이 나지 않는다. 그 사이 현업은 AI를 한 번도 써 보지 못한 채 1년을 보낸다. 시스템이 열리는 날이 오면 현업은 이미 지쳐 있고, 그 시스템은 AI가 아니라 시스템 자체를 위해 설계돼 있다.

왜 이런 일이 반복되는지는 디지털 전환 자체의 성적표가 말해 준다. 맥킨지(McKinsey)가 2018년 1,793명을 조사했을 때 디지털 전환이 성과를 냈고 그 성과를 유지할 역량까지 갖췄다고 답한 비율은 16%였다. 자동차와 에너지와 제약 같은 전통 산업에서는 4~11%에 그쳤다. 보스턴컨설팅그룹(BCG)은 2020년 임원 825명을 조사해 디지털 전환의 70%가 목표에 미치지 못했다고 발표했다. 더 오래된 자료도 방향이 같다. 맥킨지와 옥스퍼드대가 2012년 대형 IT 프로젝트 5,400건을 분석했을 때 예산은 평균 45%를 넘겼고 기대했던 가치의 56%를 얻지 못했다. 파노라마 컨설팅(Panorama Consulting)이 올해 3월 낸 ERP 보고서에서도 기간 중앙값 9개월짜리 프로젝트의 4분의 1 이상이 예산을 넘겼다. 표본이 170개 조직으로 작다는 점은 감안해야 하지만 14년 전 자료와 올해 자료가 같은 그림을 그린다는 사실이 오히려 무겁다. 디지털 전환부터 끝내자는 말은 성공률 16%짜리 사업을 AI의 입장권으로 삼자는 말과 같다.

국내 데이터도 같은 방향을 가리킨다. 중소벤처기업부가 2025년 4월 발표한 스마트제조혁신 실태조사를 보면 스마트공장 보급 사업이 10년을 넘긴 시점에 도입률은 19.5%였고 그중 75.5%가 기초 수준이었다. 제조 AI를 도입한 곳은 0.1%, 제조데이터와 AI를 다루는 전담 부서를 둔 곳은 0.8%였다. 시스템을 먼저 깔아 주는 경로가 10년 동안 AI 전환을 만들어 내지 못한 것이다. 이유는 현장에 있다. 창원에서 바램인터렉티브를 운영하는 박진한 대표가 지난달 뉴스경남에 쓴 글에 자동차부품 업체의 사례가 나온다. 정부 지원으로 넣은 AI 시스템이 현장에서 사라진 이유는 작업자가 데이터를 별도로 입력해야 했고 품목과 공정이 바뀔 때마다 시스템을 고쳐야 했기 때문이었다. 몇 달 뒤 직원들은 엑셀로 돌아갔다. 나는 이 장면을 여러 회사에서 봤다. 시스템을 위해 사람이 일하는 구조는 예외 없이 사람이 이긴다. 사람은 조용히 예전 방식으로 돌아간다.

앞뒤가 아니라 다른 축

용어부터 정리하자. 디지털 전환은 일과 기록을 시스템 위로 옮기는 일이다. AI 전환은 사람의 판단과 작업을 AI로 넓히는 일이다. 둘은 같은 축 위에 앞뒤로 놓인 단계가 아니라 서로 다른 축이고, 하나가 다른 하나의 필요조건이 아니다. 그런데 데이터가 먼저라는 믿음은 워낙 강해서 이 말만으로는 설득이 되지 않는다. 실패 원인을 직접 조사한 자료들을 봐야 한다.

MIT 미디어랩 산하 NANDA 연구진이 2025년 7월에 낸 보고서는 생성형 AI를 도입한 조직의 95%가 손익에 아무 효과를 못 봤다고 했다. 표본이 작고 방법론에 논란이 있는 보고서이지만 핵심 장벽을 짚은 대목은 현장의 감각과 정확히 맞는다. 인프라도 아니고 규제도 아니고 인재도 아니고 학습이라는 것이다. 도구가 피드백을 기억하고 맥락에 맞춰 나아지지 않는 것이 문제이지 데이터 창고가 없는 것이 문제가 아니라는 진단이다. BCG가 2024년 보고서에서 정리한 원칙도 같은 곳을 가리킨다. AI에서 성과를 내는 조직은 자원의 10%를 알고리즘에, 20%를 기술과 데이터에, 70%를 사람과 프로세스에 쓴다. 맥킨지가 지난달 낸 2026년 AI 현황 조사에서 AI로 영업이익의 5% 이상을 만들어 내는 고성과 조직은 전체의 6%였는데, 이들과 나머지를 가른 변수는 데이터 플랫폼의 완성도가 아니라 업무 흐름을 근본적으로 다시 짰느냐였다. 고성과 조직의 4분의 3 가까이가 그렇게 했고 나머지 조직은 4분의 1이 그렇게 했다.

디지털 전환 우선론이 가장 자주 드는 근거는 가트너(Gartner)의 예측이다. AI에 준비된 데이터가 없는 AI 프로젝트의 60%가 2026년까지 폐기된다는 것이다. 그런데 같은 문서를 끝까지 읽어 보면 가트너가 말하는 AI 준비 데이터는 전사 디지털화가 아니다. 가트너의 록산 에질라리(Roxane Edjlali)는 이것을 특정 용도에 필요한 패턴과 오류와 예외를 대표하는 데이터라고 정의했고, 가트너의 멜로디 치엔(Melody Chien)은 올해 봄 한 인터뷰에서 어떤 용도에 준비된 데이터가 다른 용도에는 준비되지 않은 데이터일 수 있으니 데이터에 AI 준비 완료라는 딱지를 붙일 수는 없다고 했다. 용도가 먼저이고 데이터 준비는 그 용도에 필요한 만큼만 하면 된다는 것이 가트너의 실제 입장이다. 디지털 전환 우선론은 가트너를 인용하면서 가트너와 반대 방향으로 걷는다.

반대편 주장도 적어 둔다. 알파브라더스는 이달 IT동아 기고에서 사내 정보를 검색해 답하려면 AI가 읽을 수 있는 형태로 정리돼 있어야 한다면서 AX는 DX 없이 작동하지 않는다고 썼다. 맞는 말이다. 다만 그 정리는 그 용도에 쓰는 데이터에만 하면 된다. 전사 문서를 검색해 답하는 AI가 첫 번째 과제여야 할 이유는 없다.

디지털화보다 전처리

디지털 전환부터 하자는 말의 밑바닥에는 AI가 깨끗한 데이터만 읽는다는 전제가 있다. 그 전제는 이미 낡았다. 요즘 AI는 스캔본과 사진과 손글씨를 읽는다. 알리바바(Alibaba)가 낸 Qwen3-VL 기술 보고서의 표를 보면 문서 질의응답 벤치마크에서 자사 모델이 96~97점, 구글의 Gemini 2.5 Pro가 93~94점, GPT-5가 약 91점, 앤트로픽(Anthropic)의 Claude Opus 4.1이 약 92점이었다. 경쟁사가 잰 숫자라는 점은 감안해야 하지만 깨끗한 스캔 문서는 사실상 풀린 문제다. 물론 한계는 있다. 더 어려운 문제를 모아 놓은 OCRBench v2에서는 벤치마크가 나온 지난해 초 기준으로 대부분의 모델이 100점 만점에 50점을 넘지 못했고, 역사 문서의 손글씨는 여전히 오류율이 높다. 그러나 회사의 서류함에 들어 있는 것은 대개 역사 문서가 아니라 지난 분기 견적서다.

그래서 성과를 가르는 것은 디지털화가 아니라 전처리다. 올해 4월 싱가포르 OCBC 은행 연구진이 낸 논문이 이것을 숫자로 보여 준다. 금융권 고객확인(KYC) 실무 문서 120건, 스캔 약 3,000쪽을 AI에 넣었는데 PDF를 그대로 모델에 던진 경우보다 전처리와 문자 추출과 관련 페이지 검색을 거친 파이프라인이 필드 정확도를 최대 31.9% 포인트 높였다. 최고 정확도는 87.27%였다. 종이를 시스템에 옮겨 담는 일이 아니라 AI가 인식하기 좋게 다듬는 일이 성과를 갈랐다는 이야기다. 우리가 현장에서 하는 전처리도 대개 이런 것들이다. 파일 이름과 폴더 규칙을 정하고, 표는 표대로 텍스트는 텍스트대로 나누고, 예외와 특이 사례에 표시를 달고, 답의 근거가 어디 있는지 적어 둔다. 길어야 몇 주면 끝나는 정리 작업이고 전사 시스템과는 아무 관계가 없다.

한 가지 더 말해 두고 싶다. 아직 디지털화되지 않은 데이터의 대부분은 디지털화할 이유가 충분하지 않았던 데이터일 가능성이 크다. 스플렁크(Splunk)의 2019년 조사에서 조직이 가진 데이터의 55%는 존재조차 모르거나 쓸 줄 모르는 이른바 다크 데이터였고, MIT 슬론이 인용하는 업계 추정치로는 기업 데이터의 80~90%가 비정형이다. 과학기술정책연구원(STEPI)이 올해 3월 낸 조사에서 국내 중소 서비스업체가 디지털 전환을 하지 않은 이유 1위는 비즈니스 특성상 필요 없음으로 62.2%였고, 중소기업중앙회가 2024년 말 조사했을 때 AI를 적용하지 않은 이유의 80.7%는 우리 사업에 필요하지 않다는 것이었다. 이 숫자를 게으름이나 무지로 읽는 컨설턴트가 많다. 나도 그렇게 읽던 시절이 있었다. 지금은 합리적 판단이었을 가능성이 크다고 본다. 20년 동안 옮기지 않은 서류함은 20년 동안 옮길 만한 가치가 없었던 서류함이다. AI 시대라고 그 값이 갑자기 오르지는 않는다. 쓸 것만 AI용으로 다듬으면 된다.

시작점은 실무의 5~15%

그럼 우리는 어디에서 시작해야 하는가. 스무 곳 넘게 다니며 굳어진 기준은 하나다. 구성원의 실무에서 반복 작업의 5~15%를 AI 도구로 완전히 없애는 것부터다. “완전히”라는 말이 중요하다. 한국은행이 올해 6월 낸 이슈노트에 뼈아픈 숫자가 있다. AI로 절감한 업무 시간과 업무 처리량 증가 사이의 상관계수가 0.0이었다. 절감률이 20%를 넘긴 작업은 전체의 4.4%뿐이었다. 한국은행은 이것을 AI 생산성 단절이라고 불렀다. 기존 프로세스를 그대로 둔 채 일부 작업을 보조하는 방식이라 아낀 시간이 다른 일로 옮겨 가지 못한다는 진단이었다. 작업을 조금 빠르게 하면 검수 시간이 그만큼 늘어 상쇄된다. 작업 하나를 통째로 넘겨야 비로소 시간이 남는다.

어떤 작업이 후보인지는 연구가 알려 준다. 고객지원 상담원 5,179명을 관찰한 실험에서 시간당 처리 건수가 평균 14% 늘었고 초보자는 34% 늘었다. 전문직 453명의 문서 작성 실험에서는 시간이 40% 줄고 품질이 18% 올랐다. 반대로 숙련 개발자 16명을 대상으로 한 METR의 실험에서는 AI를 쓰니 오히려 19% 느려졌다. 형식이 고정되고 판단이 적고 검수 기준이 분명한 반복 작업은 통째로 넘길 수 있지만 맥락이 깊은 작업은 아직 아니라는 뜻이다. 우리가 현장에서 쓰는 체크리스트도 결국 이 네 가지다. 매주 반복되는가. 입력과 출력의 형식이 정해져 있는가. 판단 요소가 적은가. 틀렸을 때 잡아낼 기준이 있는가.

시작점은 이미 현업 안에 있다. 한국은행의 2025년 8월 조사에서 한국 직장인의 51.8%가 업무에 생성형 AI를 쓰고 있었고 이는 미국의 26.5%의 두 배였다. 이들은 주당 약 1.5시간을 절약하고 있었다. 한국고용정보원은 지난달 낸 고용이슈 여름호에서 회사가 공식 결정을 내리기 전에 직원이 먼저 쓰는 상향식 도입이 활발하다고 적었다. MIT 보고서의 숫자는 더 노골적이다. 공식 구독을 산 회사는 40%인데 90%가 넘는 회사에서 직원들이 개인 AI 도구로 업무를 보고 있었다. 회사가 데이터 레이크를 짓는 동안 직원은 이미 AI와 일하고 있다. 지자체도 마찬가지다. 경기도는 올해 2월 한 세미나에서 행정심판 지원과 보도자료 작성 같은 6개 서비스에서 업무 효율이 30%에서 최대 75%까지 올랐다고 발표했고, 사천시는 공무원 612명을 교육해 보고서와 회의록과 공문 작성 등 40여 종의 업무에 AI 비서를 붙였다. 데이터 레이크를 만든 다음이 아니라 지금 하는 일에서 시작한 것이다. 그리고 5~15%가 모이면 어떤 데이터를 정리해야 하는지가 저절로 드러난다. 계명대 서용운 교수가 지난달 쓴 대로 스프레드시트나 노션(Notion)으로 표준화하는 것이 AI 도입의 실질적인 첫 단계다. 디지털 전환은 AI 전환의 전제가 아니라 AI 전환의 결과로 따라온다.

순서가 맞는 곳과 아닌 곳

디지털 전환이 앞선 AI 전환이 틀렸다는 말은 아니다. 현대자동차그룹은 2019년 디지털 전환을 시작해 2022년 협업툴을 깔았고, 지난달 발표에 따르면 사내 생성형 AI 사용자가 올해 7월 기준 3만 명을 넘어 현대차와 기아 일반직과 연구직의 약 80%에 이르렀다. 수십 개의 시스템과 촘촘한 규제와 전담 조직을 가진 대기업이라면 그 순서가 맞을 수 있다. 문제는 그 순서를 중소기업과 지자체에 그대로 가져오는 것이다.

STEPI의 같은 조사에서 중소 서비스업체의 89.3%는 디지털 전환 전담 인력이나 조직이 없었고 정부 지원제도 활용률은 20.7%, 기술 지원 활용률은 8.6%였다. 그 지원이 대부분 장비와 솔루션 구매 지원이라는 지적도 같은 보고서에 있다. 지자체는 소프트웨어정책연구소(SPRI)의 집계로 광역 17곳이 모두 AI를 도입했지만 지자체 AI 계약의 21.9%가 1억 원 미만 소액 사업이었다. 전담 인력도 데이터 조직도 없는 곳에 디지털 전환부터를 요구하면 그것은 컨설팅사와 SI 업체에 예산을 넘기고 2년을 기다리라는 말이 된다. 그리고 그 2년은 격차가 벌어지는 시간이다. 서비스업에서 대기업과 중소기업의 AI 도입률 격차는 2023년 4.7% 포인트에서 2025년 45.7% 포인트로 벌어졌다. 2년 만에 열 배 가까이 벌어진 것이다.

정부는 내년 예산안에서 AI 대전환에 9조 4천억 원을, 제조 AI 전환과 메가프로젝트에 3조 7천억 원을 잡았다. 각각 올해보다 84%와 128% 늘어난 숫자다. 이 돈이 시스템 구축 사업의 형태로 흘러가면 우리는 10년 전 스마트공장의 결과를 한 번 더 보게 될 것이다. 현업의 5~15%로 흘러가면 다른 결과가 나온다. 우리가 본 스무 곳 가운데 성과가 난 곳은 예외 없이 후자였다.

누가 그 문장을 만들었는가

여기서 불편한 질문을 하나 던져야 한다. 디지털 전환부터 끝내고 AI를 하겠다는 문장은 누가 만들었는가. 현업이 만든 문장이 아니다. 현업은 이미 개인 계정으로 AI를 쓰고 있다. 그 문장은 컨설팅 제안서와 솔루션 소개서와 정부 지원사업 공고문에서 왔다. 데이터 정비 사업은 범위가 넓고 기간이 길고 인력 투입이 많아서 파는 쪽에 좋은 사업이다. 5~15%를 없애는 일은 몇 주면 끝나고 청구서가 작다. 어느 쪽이 더 열심히 영업되겠는가. 나는 이 산업에 속한 사람으로서 그 문장이 얼마나 정직하게 만들어졌는지 자신 있게 말하기 어렵다.

순서를 믿은 회사는 시스템을 짓는 동안 사람을 기다리게 했고, 순서를 바꾼 회사는 사람이 일하는 자리에서 시작해 필요한 시스템을 나중에 골랐다. 같은 예산으로 전자는 성공률 16%짜리 사업 하나를 사고 후자는 매주 돌아오는 작업 몇 개를 없앤다. 나는 후자가 맞다고 본다. 대기업이 아니라면 특히 그렇다. 다만 후자를 택한 회사에게도 남는 숙제가 있다. 5~15%를 없앤 다음 그 시간이 어디로 가는가. 한국은행의 상관계수 0.0은 순서를 바꾼 회사에도 똑같이 적용되는 경고다. 아낀 시간이 다음 작업으로 옮겨 가지 않으면 장부에는 생산성이 아니라 여유로 잡히고, 여유는 조직에서 그리 오래 살아남지 못한다. 그러니 순서를 바꾸는 것으로 이야기가 끝나지는 않는다. 당신의 회사는 지금 어느 순서로 가고 있는가. 그리고 그 순서는 누가 정했는가.

이 칼럼은 [AI와 인간 사이] 시리즈의 19번째 글입니다.