[IT동아 남시현 기자] MIT 미디어랩 NANDA 이니셔티브가 발표한 ‘생성형 AI 격차:2025년 비즈니스 AI 현황’ 보고서에 따르면 생성형 AI 시범 사업 중 단 5%만이 빠른 수익을 달성했고, 95%는 손익계산서상의 변화가 없었다. 또한 응답자의 80% 이상은 생성형 AI를 사용했어도 기업에서 원하는 EBIT(이자 및 세금 차감 전 이익)을 이끌어내지 못했다. 자사의 생성형 AI 도입 수준을 성숙하다고 평가한 비율은 150명의 기업 리더 중 1%에 불과했다.

연구진은 생성형 AI로 수익을 창출하지 못하는 기업들은 공통적으로 AI 모델의 품질이 부족하기보다는 도구와 조직이 필요한 수준에 미치지 못한 것으로 평가했다. 오픈소스 등이 대두되고 API를 활용하기 쉬워지며 인공지능을 도입하는 것 자체는 과거보다 쉬워졌다. 하지만 모델을 학습해서 배포한 이후 꾸준히 안정적으로 운용하기가 어렵다. 운영할 시스템도 부족하고, 전문적인 지원 조직을 갖춘 곳도 적다.

게다가 모델 구축 후 데이터 및 기술 노후로 인해 성능이 떨어지는 모델 드리프트 현상으로 인해 장기적으로 도입에 성공하는 기업은 드물다. 보고서는 자체 구축으로 AI 도입에 성공하는 비율은 기업 세 곳 중 한 곳이라 지적했고, 반대로 AI 도구를 전문적으로 운영하는 기업과 파트너십을 맺고 구축한 결과는 성공률이 67%라고 조사했다. AI를 보다 전문적이고 체계적으로 도입해야 한다는 인식이 생겨나는 이유다.

AI, 도구를 도입하는 것에서 운영 관리로 시선 전환

AI 관리의 중요성을 보여주는 사례는 갈수록 늘고 있다. 이스라엘의 농업 기술회사 아그로스카우트는 농업 지역에서 해충과 질병을 조기 감지하는 AI 기반 탐지 시스템을 구축했다.

하지만 각 농장마다 고유한 작물 유형, 날씨, 토양 등의 변수로 인해 단일 인공지능 모델로는 대응하기 어려워지자 기계학습 플랫폼 기업 클리어ML의 힘을 빌었다. 클리어ML이 연구 추적과 클라우드 자산 제어, 개발 주기 전반에 데이터 관리 방법을 도입한 덕분에 데이터의 총량은 100배 늘었고, 실험 시작부터 모델 구축까지 걸리는 시간은 절반으로 줄었다.

전략 컨설팅 기업 액센츄어는 올해 3월, 엔비디아와 함께 ‘AI 리파이너리’ 플랫폼에서 쓸 수 있는 AI 에이전트 제작 도구를 공개했다. 기업이 액센츄어의 AI 에이전트 빌더를 활용해 AI 서비스를 제작하면 추후 시장 변화나 정책 개정에 맞게 AI 에이전트가 수정 및 배포되는 게 특징이다. HPE는 AI 리파이너리의 에이전트 개발 도구를 활용해 프라이빗 클라우드 환경에서 자동화된 AI 에이전트를 구축했고, UN 역시 150개 이상 언어를 지원하는 다국어 에이전트를 개발해 지속가능한 개발 목표 연구에 적용 중이다.

앞서 사례는 AI 구축에 전문 기업의 손길이 닿아야 효과적임을 증명한다. 최근엔 글로벌 시스템 통합(SI) 기업인 인포시스(Infosys), TCS(타타 컨설턴시 서비스)도 MLOps 기반의 매니지드 서비스 사업에 뛰어들어 AI 시스템 통합의 경쟁력을 확보 중이다. 기존의 방식이 AI 서비스를 만들고 제공하는 것에 그쳤다면, 2025년에는 이를 장기적으로 운영 및 관리하고 사용하는데 초점을 맞춘다. 고객이 AI를 장기적으로 활용해야 또 다른 수주로 이어지고, 이를 관리하는데 필요한 비용도 가져갈 수 있어서다.

시장에서도 운영 환경을 노린 전략적 움직임이 늘고 있다. 지난 3월, AI 모델 구축 시 필요한 GPU 인프라를 클라우드 컴퓨팅으로 제공하는 기업 코어위브가 MLOps(기계학습 운영) 플랫폼을 운영하는 웨이츠 앤 바이아시스(Weights& Biases)를 320억 달러(약 44조 4800억 원)에 인수했다. 스위스 은행 UBS도 자사 AI 모델 개발 및 검증 플랫폼 리스크랩(RiskLab)의 운영 관리 역량을 확보하기 위해 도미노 데이터 랩의 지분 일부를 인수했다. 두 기업은 AI 모델 구축을 넘어서 프로젝트 계획, 설계, 구현 및 운영까지 사업 영역을 확장한다.

시스템 통합 기업은 AI 모델 구축을 넘어 운영 및 배포, 관리 방안까지 추진 중이다. AI 구축 관련 기업들도 자사 경쟁력 강화와 운영 관리를 통한 생존력 확보를 위해 기업 인수나 지분 투자, 전략적 협업 관계 등을 확보 중이다. 전 세계적인 AI 운영 시장의 흐름이다.

반 박자 느린 국내 시장, AI 전문 기업 확산 필요해

우리나라 AI 구축 시장 역시 점진적으로 변화하고 있다. 삼성SDS는 자체 AI 플랫폼 ‘브라이틱스 AI’를 통해 AI 데이터 분석 및 시각화 기능을 제공하고, SK AX는 기계학습 기반 데이터 분석 플랫폼 ‘아큐인사이트플러스’로 고객 기업의 빅데이터 수집 및 처리, 분석, 활용을 돕는다. 네이버클라우드와 카카오엔터프라이즈 역시 클라우드 기반의 MLOps 관리로 모델 학습이나 운영 관리, 배포까지 지원한다. AI 시스템 구축을 넘어서 AI 모델을 운영하고 관리하는 단계까지는 이르렀다.

문제는 삼성SDS나 LG CNS 등을 통해 AI를 구축하는 사례는 자금과 데이터가 충분한 대기업들 중심이며, 중소 및 중견 기업들은 AI 도입과 운영 관리의 필요성까지도 공감하면서도 적절한 방안이 많진 않다. 게다가 AI 구축뿐만 아니라 데이터의 효율적인 관리나 보안 방안, AI에 대한 임직원 교육과 내재화까지 전반적인 과정이 미진한 경우가 많아 AI 도입에 실패할 확률이 전반적으로 높은 게 현실이다.

이 가운데 우리나라 스타트업 렛서(Letsur)는 AI의 생존률을 높일 수 있는 접근 방식을 제안한다. 이들은 임직원 대상 AI 실무 교육 서비스 ‘에이블 캠퍼스’와 AI 운영관리 플랫폼 ‘스테이엑스(Staix)’를 통해 AI 학습데이터 구축과 맞춤형 AI 개발 및 관리, AI 인프라까지 통합 지원한다. 기업의 AI 구축을 기본으로 활용 교육, 사후 운영 관리 등 인프라 전반을 제공하는 전략이 렛서의 방식이다.

프로젝트 측면에서는 ▲ 계약서 정보 추출 자동화 ▲ 인공지능 기반 AI CCTV 유지보수 및 개선 설루션 도입 ▲ AI보이스 기반 사내 방송 제작 효율 강화 ▲ 3D 구강 스캔 자동분석 AI 등 기업이 필요로 하는 어떤 조건의 AI든 구축하며, AI 과제 도출 워크숍이나 생성형 AI 이론 및 실습 교육, 직무 맞춤형 AI 교육 등도 추진한다. 이미 국내에 150여 개 기업이 렛서의 고객사다. 프로젝트로는 250건을 돌파했다.

최근 국내 대형 제약사 한 곳은 영업 사원 및 SAP ERP(전사적 자원관리) 영업 데이터를 기반으로 AI를 구축하기로 했다. 다만 단순 조회 위주의 기능만 제공돼 전략 수립에 데이터를 추가로 가공하는 과정이 필요해 렛서 지원팀이 이 부분을 재설계하고 AI를 구축했다. 그 결과 기존 ERP 시스템을 연동해 데이터 조회 및 가공, 분석까지 가능한 AI 영업 데이터 챗봇이 완성됐다. 일반적인 AI 구축 과정은 여기서 끝나고 사후 관리나 지원까지 이어지지 않는 경우가 많다.

렛서는 도입 기업의 AI 활성화를 위해 에이블 캠퍼스 팀이 서울 및 지방 교육을 직접 찾아가는 방식을 택했다. 교육 내용은 영업 직원을 대상으로 자연어 질의를 통해 필요한 데이터에 접근하는 방법과 분석 방법 등으로 구성됐다. 이후 1년 간의 협업 기간 동안 서비스 업데이트 및 고도화가 지속 반영됐고, 현재도 운영 중이다. 고객 기업은 영업 데이터 조회 및 분석에 많은 시간을 단축했고, 영업 사원들의 업무 효율성도 향상됐다. 전문가 시각에서 접근한 AI 개발과 플랫폼을 기반으로 체계화된 운영 방식, 그리고 임직원 대상 맞춤형 교육과 내재화가 이뤄진 덕분이다.

규제·보안은 높아질수록, 전문 파트너사 더 중요성 더해

지난 2024년 12월, ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’이 국회를 통과했다. 이 법은 인공지능의 건전한 발전과 신뢰 기반 조성을 위한 기본 사항을 담고 있다. 주요 인공지능은 사람의 생명과 신체 안전, 기본권에 중대한 영향을 미치는 AI 시스템이 해당되며, 거의 모든 AI 관련 서비스에 영향을 미친다. 관련 법 시행은 2026년 1월 22일이며 이때를 기점으로는 전 사업자가 의무적으로 법률을 준수해야 한다.

해당 법에 따라 AI 도입 사업자는 ▲ 생성형 AI로 생성한 결과물임을 고지하는 투명성 확보 의무 ▲위험 식별 및 안전사고 모니터링 대응체계이행 결과를 정부부처에 제출하는 안전성 확보 의무 ▲ 고영향 AI의 위험관리방안 수립 및 운영, 이용자 보호방안 수립, 유인 관리감독 체계 구축 등을 준수해야 한다. 내년부터는 AI 개발, 도입을 넘어서 어떻게 관리감독하고, 이용자 보호 방안과 고지까지 챙겨야 한다. 단순히 AI를 도입하거나 내재화하려 했던 기업이더라도 체계적인 시스템 구축이 필요한 상황이다.

해당 법으로 인한 규제가 AI의 발전과 도입을 저해한다는 시각은 있으나, 그렇지 않으면 개인정보 오용이나 보호수단 부재로 인한 피해는 이용자의 몫이 될 수 있다. 따라서 AI 도입의 완성도와 내재화, 장기적 운영 가능성을 종합적으로 판단하면 AI 전문 운영사의 손을 빌리는 것이 이상적이다. 렛서와 같은 AI 관리 기업들이 앞으로 유망할 수밖에 없는 이유다.

IT동아 남시현 기자 (sh@itdonga.com)