[IT동아 강형석 기자] 인공지능(AI) 활용이 산업 전반으로 빠르게 확산되면서, 기업은 디지털 전환(DX)을 넘어 인공지능 전환(AX)을 고민해야 하는 처지에 놓였다. DX가 과거의 정보화와 전산화 과정에서 정해진 규칙에 따라 데이터를 기록하고 보관하는 시스템이었다면, AX는 수많은 불확실한 변수 속에서 최선의 답을 찾아 문제 자체를 재정의하는 구조에 가깝다. 시스템의 성격이 이렇게 180도 달라졌는데도 여전히 과거 방식 그대로 AX를 시도하는 경우가 대다수다.

미완성 DX 위에 얹힌 AX는 실패로 귀결되기 쉽다. MIT 미디어랩의 연구 보고서(The GenAI Divide)에 따르면, 기업용 생성형 AI 파일럿 프로젝트의 95%가 실질적인 투자자본수익률(ROI)이나 매출 성과를 입증하지 못하고 실패하는 것으로 나타났다. 이러한 부진은 AI 모델 자체의 성능 부족보다 조직의 거버넌스 부재, 부적절한 인센티브 구조, AI 친화적 조직문화의 결여에서 비롯된 것으로 분석됐다.

2026년 9월 22일, 한국AI서비스학회 AI경영정보서비스분과(ASMI)가 서울 중구 더존을지타워에서 ‘2026년 3분기 정기 세미나’를 열고 기업 AX에 대한 고민을 나눴다. ‘실용으로 배우고, 참여로 완성한다’는 주제로 열린 이번 세미나에는 AI경영정보서비스분과 소속 기업 대표와 관계자들이 참석했다.

AX는 온톨로지와 거버넌스가 구축되어야 완성된다

지용구 더존비즈온 대표는 “기술의 실행 권능이 커질수록 조직의 수장은 위임의 범위와 검증 체계, 법적 책임의 한계를 면밀하게 설계해야 하며, 이를 과거 정보화 시대처럼 실무 부서나 전산실의 하위 과제로 미뤄두는 순간 치명적인 경영 리스크가 발생한다”고 경고했다. 이에 더존비즈온도 사내에 AI 거버넌스 사무국을 신설하고, 자신이 초대 사무국장을 맡아 AX 전환에 속도를 내겠다고 밝혔다.

지용구 대표는 완성된 지식을 “어떤 정보를 자신의 업무에 창의적으로 적용해 실질적 성과로 만들어내는 능력”이라고 정의했다. 반복만 거듭해 손에 익은 숙련자는 ‘달인’에 머물지만, 거기에 철학과 통찰을 더해야 비로소 대체 불가능한 고부가가치를 만들어내는 ‘장인’의 반열에 오른다는 설명이다. 그는 정보를 보관하는 기록의 단계를 지나 그 의미를 해석하는 이해의 단계에 이른 기업들이 과거의 성장을 주도했다면, 이제는 스스로 움직여 문제를 해결하는 실행의 영역으로 기술 진화의 방향이 옮겨갔다고 설명했다.

DX와 AX는 어떻게 다를까? 발표 자료에 따르면, DX는 오차가 허용되지 않는 결정론적 세계다. 예를 들어 지난해 매출액이 16% 늘어 수천억 원을 달성했다는 재무제표의 숫자는 대표이사가 보든 재무책임자가 보든 같아야 하며, 자의적인 해석이 끼어들 여지가 없다. 반면 AX는 확률론적 세계에 기반한다. 여러 흩어진 정보를 종합 분석해 사람이 더 현명한 판단을 내릴 수 있도록 최선의 대안을 제시하는 조력자 역할을 맡는다는 설명이다.

지용구 대표는 AX 실현을 위한 선결 과제로 서로 다른 데이터베이스 간의 의미와 관계를 엮어내는 ‘온톨로지(Ontology)’의 중요성을 강조했다. 재무, 급여, 계약, 자산 관리 데이터가 유기적인 맥락으로 연결되어 있다면, 그 위에 어떤 모델을 얹더라도 뛰어난 성능을 낼 수 있다는 설명이다.

기업 환경에서 인공지능을 안전하게 운용하기 위한 3단계 거버넌스 방어막도 함께 제시했다. 먼저 수많은 변수를 따져 결과를 제안하는 몫은 확률의 인공지능이 맡고, 최종 검증은 결정론적 방어막인 사내 데이터가 담당한다. 이어 규제와 예외 사항을 검토해 최종 결재 도장을 찍고 책임을 지는 주체는 결국 리더인 인간이어야 한다는 설명이다. 확률의 인공지능, 규칙이 마련된 전산망, 결단을 내리는 인간이라는 삼각 구조가 갖춰져야만 기업의 안전한 AX가 가능하다는 것이다.

‘지속성과 일관성’ 한국도 중국의 AX 전략에 주목해야

다음으로 연단에 오른 박지민 36KR코리아 대표는 중국의 AX 전환 흐름을 소개했다. 그는 한국이 거대언어모델에 어떤 질문을 넣어야 하는지 따지는 ‘프롬프트 작성법’ 교육에 몰두하는 사이, 중국 현지에서는 이미 개인이 만든 고도화된 에이전트 완제품을 사고파는 시장이 커지고 있다고 말했다. 그 중심에는 ‘슈퍼 1인 기업(OPC, One-Person Company)’이 자리한다.

중국 정부가 OPC 육성에 나선 이유는 명문대와 미국·유럽 유학을 마친 고급 석·박사 인력이 쏟아져 나왔는데도 경기 둔화와 맞물려 양질의 일자리가 부족해진 데 있다. 배달 노동자나 공장 생산직으로 전락할 위기에 놓인 청년들을 위해, 중국 정부는 과거처럼 획일적인 창업 지원금을 쥐여주는 대신 이들을 AX를 이끄는 자원으로 끌어들이는 정책을 편 것이다.

박지민 대표의 발표에 따르면, 중국은 딥시크(DeepSeek)와 큐원(Qwen) 등 저렴하면서도 강력한 오픈소스 AI 인프라를 바탕으로 개인이 자신의 전문 도메인 지식(농업, 수산업, 소재, 물리학 등)을 결합할 수 있도록 지원했다. 청년들이 독립 에이전트 서비스 기업으로 자생하도록 월 100만~200만 원 규모의 지원금과 AI 인프라 바우처도 함께 제공했다.

이렇게 육성된 인재들은 자본은 풍부하지만 젊은 기술 인력이 턱없이 모자란 수저우, 광저우, 둥관 등 지방 제조업 클러스터의 공급망 현장으로 뛰어들었다. 노동 시간을 물리적으로 쪼개 파는 전통적 프리랜서의 한계를 자연스레 벗어나 사내 데이터를 기반으로 맞춤형 에이전트 솔루션을 개발해 납품하고 지속적인 라이선스 수익을 얻는 ‘소프트웨어 자산 경영’ 구조가 자리를 잡았다. 박지민 대표는 이를 “스마트폰과 웹 앱이 촉발한 1차 기술 민주화에 이은 인공지능 기반의 2차 기술 민주화”라고 표현했다.

중국의 AX 정책은 중앙정부의 청사진 아래 공업정보화부와 각 지방정부가 일사불란하게 움직이는 톱다운 방식을 따른다. 2027년까지 산업용 에이전트 1000개, 특화 데이터셋 100개, 대표 혁신 사례 500개를 달성하겠다는 구체적인 목표치까지 내놓은 상태다.

기업 현장의 적용 성과도 눈에 띈다. 글로벌 가전업체 미디아(Midea) 그룹은 과거의 냉동·공조 도면과 제품 수명주기 데이터를 전산화한 뒤, 자체 에이전트를 투입해 23만 건의 핵심 설계 변수를 자동으로 추출해 개발 기간을 45% 단축했다. 2차전지 기업 CATL은 복잡한 전기화학 물리 모델링과 공정 시험 데이터를 머신러닝 에이전트로 결합해 배터리 셀 설계의 완성도를 높였다. 인공지능 기반 신약·신소재 개발사 엑스탈파이(XtalPi)는 원천 연구 성과를 앞세워, 중외제약과 대웅제약 등 한국 제약업계로까지 협력의 폭을 넓혀가는 것으로 알려졌다.

그렇다고 중국의 전환 모델이 장밋빛 일색인 것만은 아니라는 게 박지민 대표의 진단이다. 그는 정책 보조금이 끊긴 뒤에도 민간 수요 기업이 자발적으로 후속 구매를 이어갈지에 대한 회의론과 더불어, 클라우드 기업들이 고객사마다 막대한 비용을 들여 맞춤형 소프트웨어를 짜줘야 하는 문제도 함께 짚었다. 일례로 핑안보험은 2026년 상반기에만 9억 3900만 건에 이르는 고객 응대를 인공지능으로 처리했지만, 신원 확인과 최종 보험 심사 등 후속 행정 절차의 81%는 여전히 사람이 맡아야 하는 반쪽짜리 자동화의 한계를 드러냈다. 한국 역시 AX 경쟁력을 확보하려면 불필요한 규제를 정리하고, 기술 기업에 대한 지원을 강화해야 할 것으로 보인다.

AI 팩토리 시대, 토큰 경제성 확보하려면 ‘하네스 엔지니어링’이 해답

이어서 네이버클라우드에서 인공지능 사업 개발과 신규 상품 손익 분석을 전담해 온 박현근 PM이 ‘기업 AI의 진정한 경제성’을 화두로 발표를 이어갔다. 그는 네이버가 자체 데이터센터 각(춘천, 세종)을 운영하면서도 엔비디아와 손잡고 기가와트(GW)급 AI 팩토리(AI 공장) 구축에 나선 배경에는 인공지능 활용 패러다임의 변화가 자리한다는 점을 강조했다.

최근 AI 산업은 스스로 여러 소프트웨어 도구를 활용해 결과물을 만들어내는 에이전틱 AI(Agentic AI)에 관심을 쏟는다. 문제는 AI 에이전트가 복잡한 업무를 위임받아 계획 수립, 도구 호출, 중간 결과 해석, 재시도 등 다단계 절차를 수행할 때 발생하는 토큰 사용량이다. 박현근 PM의 설명에 따르면, 복합 업무를 처리하는 에이전트는 일반 질의응답 대비 최소 15배 이상 토큰을 소모한다. 이로 인해 인공지능 투자 비용의 무게중심 역시, 모델을 똑똑하게 만드는 ‘사전 학습’에서 대량의 요청을 안정적으로 처리하는 ‘추론’ 쪽으로 옮겨갔다.

AI 팩토리는 컴퓨팅, 고속 네트워크, 저장장치 외에도 막대한 전력 공급과 액체 냉각 시스템까지 하나로 묶어, 단위당 연산 효율을 최대한 끌어올리는 생산 기지 역할을 한다. 입력 문맥을 읽고 해석하는 프리필(Prefill) 단계와 글자를 하나씩 순차적으로 찍어내는 디코드(Decode) 단계 사이의 병목을 해결하고, 불필요한 중복 계산을 줄여 그래픽 처리장치(GPU) 자원의 유휴 시간을 최소화하는 일이 관건이다. 하드웨어 최적화가 이뤄지면 전력당 토큰 처리량은 최대 50배까지 늘고, 토큰당 생산 단가는 35분의 1 수준으로 떨어질 수 있다는 게 박현근 PM의 설명이다.

그런데 공급자가 제시하는 토큰 단가의 하락이 곧바로 기업의 사업적 경제성으로 이어지는 건 아니다. 조직의 업무 맥락과 제약 조건을 정의하지 않은 채 실무자가 “이 자료 적당히 요약해 줘”, “알아서 보고서 초안 짜줘” 하는 식으로 모호하게 지시를 내리면, 확률 기반의 지능은 엉뚱한 방향으로 불필요한 추론을 쏟아내기 마련이다. 그 과정에서 쓸데없는 토큰이 낭비된다.

박현근 PM은 이 문제를 해결하기 위한 대안으로 ‘하네스 엔지니어링(Harness Engineering)’을 제안했다. 하네스 엔지니어링은 모델에게 어떤 도구와 사내 권한을 부여할지, 업무의 진행 상태를 어떻게 기록하고 전이시킬지, 산출물이 나왔을 때 어떤 항목을 사전 검증 체크리스트로 걸러낼지 미리 규정해 두는 것이다. 각 개인의 주관에 따라 천차만별로 쓰이던 사내 활용 사례들을 모아 표준화된 공통 스킬 모음(Skill Set)으로 자산화한다면, 토큰 비용 절감뿐 아니라 실질적인 ROI를 거둘 수 있다고 강조했다.

파편화된 제조 데이터로 AX 구현하려면 ‘월드 모델’ 필요해

마지막 연사로 나선 박은규 퓨처워크랩 대표는 전통 제조 기업의 AX 장벽을 허물기 위한 ‘에이전트 AI 아키텍처’와 ‘월드 모델(World Model)’을 제시했다. 제조 산업 현장은 이미 오랜 기간 설비 예지보전이나 영상 비전 검사 등에 머신러닝을 적극 활용해 왔지만, 정작 사무동과 생산 현장을 잇는 복합적인 관리 업무는 여전히 사람에게 의존하는 실정이다. 퓨처워크랩은 기존의 전사적자원관리(ERP), 생산실행시스템(MES), 창고관리시스템(WMS)을 새로 구축하는 대신, 그 위에서 인간의 고난도 직무를 보조하는 ‘운영층(Operational Layer)’으로 에이전트를 배치하는 접근법을 내놓았다.

일례로 고객사로부터 “12일 이내에 에센스 5만 개를 긴급 납품해 줄 수 있느냐”는 문의가 들어와도 담당자는 곧바로 가부를 판단할 수 없다. 원료 창고에 재고가 있는지, 기존 생산 라인 일정을 뒤로 미룰 여유가 있는지, 법적 규제가 바뀌어 라인 소독 절차를 추가해야 하는지를 알아내려면 주변 부서 실무자에게 일일이 전화를 돌려 확인해야만 했기 때문이다.

박은규 대표는 이런 상황에서 언어모델에 검색 증강 생성(RAG)을 붙여 사내 규정 문서를 찾아주는 수준만으로는 업무를 끝마칠 수 없다고 지적했다. 문서를 검색하는 능력과 기업의 ‘현재 운영 상태(State)’를 온전히 인식하는 능력은 차원이 다르다는 게 이유다. 인공지능이 복합 업무를 처리하려면, 회사가 지금 어떤 상태에 놓여 있는지 정확히 관측하고, 실행 가능한 후보 조치들이 유효한지 검증하며, 특정 행동을 취했을 때 기업의 미래 상태와 최종 경영 지표가 어떻게 달라질지를 예측할 수 있어야 한다는 설명이다. 이것이 피지컬 AI와 자율주행에서 가져온 ‘월드 모델’의 핵심이다.

자율주행차가 도로의 실시간 상황을 카메라로 살피며 제약 조건을 판단한 뒤 차량의 경로를 예측하듯, 기업용 월드 모델 역시 세 가지 요소가 맞물려 돌아가야 한다는 게 박은규 대표의 주장이다. 로봇과 가공 설비가 놓인 물리적 세계, 공정 조건과 불량률을 관리하는 업무처리 세계, 수주 잔고부터 납기·원가·이익률을 다루는 사업 세계가 그 세 가지다.

박은규 대표는 “에이전틱 AI 시스템이 안착된다면 도구 활용 수준의 기초 도입만으로도 50%의 ROI를 기대할 수 있지만, 회사의 운영 상태를 반영하는 월드 모델 기반의 AX가 완성되면 평균 300% 이상 ROI 달성도 가능할 것”이라고 설명했다.

IT동아 강형석 기자 (redbk@itdonga.com)