AI 투자와 가치 창출의 기로에 선 기업들

골드만삭스 추정에 따르면 향후 AI 혁명을 지원하기 위한 데이터센터, 칩, 에너지, 인프라 구축에 약 1조 달러의 자본 지출이 예상된다. 이미 딥러닝과 신경망 같은 AI 혁신으로 바이오테크에서 금융까지 다양한 분야의 전문가들이 방대한 데이터셋을 분석하고 실행 가능한 인텔리전스를 제공하고 있다.

현재는 민주화와 규모의 시대다. 생성형 AI는 직관적인 자연어 인터페이스를 통해 AI의 혜택을 모든 실무자가 접근할 수 있게 만들었다. 에코노미스트 임팩트와 데이터브릭스의 조사에 따르면, 기업의 85%가 최소 한 개 이상의 업무에서 생성형 AI를 활용하고 있으며, 매출 100억 달러 이상 기업의 경우 이 비율이 97%에 달한다.

AI 도입 현황과 과제

보고서 자료에 따르면, IT 부서가 가장 적극적으로 AI를 도입하고 있으며, 법무팀이 가장 신중한 태도를 보이고 있다. 내부 프로젝트가 선호되고 있지만, 2027년까지는 99%의 임원들이 내외부 모든 영역에서 생성형 AI 도입을 예상하고 있다. 10명 중 7명이 AI를 장기적 전략 목표 달성에 필수적이라고 보고 있으며, 18%만이 AI가 과대 평가되었다고 응답했다.

현재는 생산성과 효율성 향상이 주된 이점으로 꼽히고 있다. IT(91%), 마케팅(85%), 영업 및 고객 서비스(83%), 운영(80%) 등 자동화 잠재력이 높은 부서에서 집중적으로 테스트가 이뤄지고 있으며, 데이터 과학자의 82%가 코딩 작업에 AI를 활용한다고 답했다. 인터뷰 대상 기업들은 비용 절감, 직원 경험 개선, 인재 유치 등의 다양한 이점을 보고했다.

기업들은 AI 투자를 평가할 때 비즈니스 모델 혁신, 시장 포지셔닝, ESG 기준 등 전략적 고려사항을 가장 중요한 요소로 꼽았다. 수익 성장은 지금까지 투자를 정당화하는 데 가장 효과가 적은 지표였는데, 전문가들은 실험, 반복, 디지털 인프라 개선의 필요성을 고려할 때 AI 수익이 시간이 걸릴 것이라고 지적한다.

데이터 인프라의 근본적 혁신 필요성

조사 대상 기업의 22%만이 현재 인프라로 AI 워크로드를 충분히 지원할 수 있다고 응답했다. 많은 기업이 빅토리아 시대의 배관과 같은 낡은 시스템으로 AI의 요구사항을 감당하려 하고 있다. 데이터 엔지니어의 48%가 데이터 소스 연결에 대부분의 시간을 소비하고 있어, 데이터 인프라의 근본적 개선이 시급한 실정이다.

기업들은 구조화된 데이터를 위한 클라우드 기반 웨어하우스와 비정조화 데이터를 위한 데이터 레이크로 분열된 환경을 가지고 있다. 이는 사일로화, 유스케이스 지원 부족, 호환되지 않는 보안 모델 등의 문제를 야기한다. 이러한 문제를 해결하기 위해 데이터 레이크하우스라는 새로운 모델이 등장했으며, 이는 오픈 소스 소프트웨어와 표준을 기반으로 두 가지 접근방식의 장점을 결합한다.

실시간 데이터 처리가 가장 중요한 아키텍처 제약으로 지적됐으며, 응답자의 47%가 이를 최우선 해결 과제로 꼽았다. 마힌드라 그룹의 사례처럼 태양광 패널 성능에 대한 실시간 데이터를 알고리즘에 통합하여 유지보수와 청소 일정을 최적화하는 등의 실질적 활용이 늘어나고 있다.

생성형 AI 모델 활용 전략

기업들의 66%가 자체 데이터와 생성형 AI 모델의 통합에서 중요한 잠재력을 발견했다고 답했다. 많은 기업이 RAG(Retrieval Augmented Generation)를 활용해 LLM의 출력을 검증하고 개선하고 있다.

데이터 과학자의 58%가 기업 데이터로 LLM을 보강하고 있으며, 45%는 기업 데이터와 연결하지 않고 LLM을 그대로 사용한다.

오픈소스 AI 채택의 주요 이유로는 개발 투명성(52%), 오픈소스 커뮤니티 리소스 접근, 독점 IP 개발 기회, 벤더 종속 방지, 더 나은 커스터마이징과 보안 통제 등이 꼽혔다. 금융 서비스 업계가 80%로 가장 높은 통합 잠재력을 보고했으며, 75%가 산업별 특성을 고려해 오픈소스와 클로즈드소스 AI를 병행하고 있다. 2027년까지는 이 비율이 89%까지 증가할 것으로 예상된다.

우수 사례와 시사점

글로벌 기업들은 각자의 산업 특성에 맞게 AI를 혁신적으로 활용하고 있다. GM은 생산라인에서 AI를 활용해 차량 배터리의 문제를 사전에 예측하는 시스템을 구축했다. 이는 고객 충성도 관점에서도 중요한데, 첫 전기차 구매 고객이 배터리 문제로 인해 부정적인 경험을 하는 것을 방지함으로써 브랜드 신뢰도를 유지할 수 있기 때문이다.

라쿠텐은 자사의 이커머스 플랫폼에서 발생하는 거래 데이터를 활용해 효율적인 딥러닝 기반을 구축했다. 더 적은 처리 능력으로도 양질의 결과를 얻을 수 있었던 것은 고품질의 거래 데이터가 사용자의 관심사를 더 정확하게 나타내기 때문이다.

셸은 고객 상호작용이나 과거 계약 등 내부 데이터에 기반한 기초 모델을 적용하고 있다. 통제된 데이터만을 사용하고 적절한 인적 감독을 포함시킴으로써 환각 현상에 대한 우려를 최소화했다.

유니레버는 약 2만 명의 직원에게 생성형 AI 활용 교육을 실시하며 인재 양성에 투자하고 있다. 이는 역동적인 산업 환경에서 새로운 기술과 역량에 대한 수요가 증가하는 상황에 대응하기 위한 핵심 전략이다.

렙솔은 자체 개발한 AI 제품을 통해 직원들이 기술적 지식 없이도 복잡한 데이터 작업을 수행할 수 있도록 지원하고 있다. 자연어 처리기를 통해 직원들은 성과 분석, 운영 최적화, 조직 변화를 독립적으로 수행할 수 있게 되었다.

마스터카드는 생성형 AI를 활용해 카드 부정 사용 탐지 시스템을 강화했으며, 제트블루는 디지털 트윈을 개발해 날씨나 기술적 문제로 인한 예상치 못한 운항 차질에 대한 예측 능력을 향상시켰다.

마힌드라 그룹은 공개 데이터와 자체 데이터를 AI로 분석해 대출 결정을 내리고 있으며, 이를 통해 금융 포용성 확대에 기여하고 있다. 특히 신용 평가 점수를 생성하여 금융 소외 계층에게도 대출 기회를 제공하는 혁신을 이루고 있다.

이러한 사례들은 AI가 단순한 생산성 향상을 넘어 비즈니스 모델의 혁신과 사회적 가치 창출에도 기여할 수 있음을 보여준다. 성공적인 AI 도입을 위해서는 각 기업의 고유한 데이터와 도메인 전문성을 AI와 효과적으로 결합하는 것이 핵심이다.

인재 확보와 거버넌스의 중요성

기업의 6분의 1만이 AI 기술을 최대한 활용하는데 필요한 전문성을 가진 인재를 확보할 수 있다고 자신했다. AI 인재를 성공적으로 확보한 기업들이 더 빠른 속도로 AI를 도입하고 있는 것으로 나타났다.

AI 거버넌스 체계 구축도 시급한 과제다. 응답 기업의 40%가 AI 안전성과 규정 준수를 위한 프로세스가 불충분하다고 답했다. 데이터 프라이버시와 보안 위반이 기업 아키텍트의 53%가 꼽은 최우선 우려사항이며, 엔지니어의 50%가 보안과 거버넌스를 가장 어려운 과제로 꼽았다.

우수 사례로 꼽히는 수단은 'AI 우수성 센터(COE)'의 구축이다. COE는 체계적인 감독을 달성하고 모범 사례를 공유하며, AI 구현을 위한 핵심 동력이 되고 있다. 예를 들어 셸의 애널리틱스 COE는 다면적 팀을 한데 모아 수백 명의 데이터 과학자와 수천 명의 'AI 애호가'들을 지원하는 커뮤니티를 운영하고 있다.

향후 과제와 권고사항

위험과 불확실성을 인식하여 기업들은 내부 활용 사례를 우선적으로 테스트해야 한다. 샌드박스와 반복을 통해 각 기업에 맞는 모델과 도구의 조합을 찾는 과정이 필요하며, 명확한 문제 해결과 잘 정의된 범위 내에서 파일럿 프로젝트를 선정해야 한다.

대용량, 다양한 데이터를 지원하는 강력한 데이터 및 기술 기반 구축이 시급하다. 과거의 경직된 데이터 저장 시스템으로는 관리할 수 없는 데이터의 다양성, 실시간 사용, 더 넓은 활용을 위해 인프라 재정비가 필수적이다. 특히 대기업과 복합기업은 중앙집중화와 분산화 사이에서 적절한 균형을 찾아 클라우드 플랫폼을 활용해야 한다.

과도한 지출을 피하고 실망의 계곡을 넘어서기 위해서는 지능적인 ROI 메트릭스와 규율있는 지출 접근법이 필요하다. 생산성, 비용 통제, 직원당 수익, 사용자 경험, 직원 소진 감소 등이 의미 있는 지표가 될 수 있으며, 가장 성공적인 기업은 AI를 통해 새로운 수익원과 비즈니스 모델 혁신을 이끌어낼 것이다.

실험과 시행착오를 위한 충분한 시간 확보가 중요하다. 의료와 같이 엄격한 규제 산업의 경우 더 긴 시간이 필요할 수 있으며, 양질의 데이터셋과 거버넌스 구축에도 상당한 시간이 소요된다. AI 제품과 서비스 생태계의 진화를 지켜보며 전략적 인내를 발휘하는 것도 필요하다.

AI 시스템의 설계와 구축 과정에서 직원들의 참여가 필수적이다. AI가 업무를 대체하는 것이 아닌 보완하는 도구임을 명확히 해야 하며, AI 챔피언을 발굴하여 동력을 얻는 것이 중요하다. AI 관련 역량을 리더십 프로그램에 통합하고 자동화 편향을 피하기 위해 인간의 판단을 중시하는 문화를 조성해야 한다.

기초 모델이 상품화됨에 따라, 최고의 성과를 내는 기업은 고유한 자산인 독점 데이터와 노하우로 모델을 보완할 것이다. 전문성이 높은 산업에서는 기성 모델이 품질과 규정 준수 요구사항을 충족하지 못할 수 있으므로, 기업들은 오픈소스와 클로즈드소스 AI, 그리고 프라이빗 또는 퍼블릭 클라우드를 성능, 거버넌스, 비용, 용량을 고려해 적절히 조합해야 한다.

이러한 도전과제들을 성공적으로 해결하는 기업이 AI 시대의 승자가 될 것이다. AI는 이제 선택이 아닌 필수이며, 그 성공적인 구현은 기업의 미래 경쟁력을 좌우하게 될 것이다.

기사에 인용된 리포트의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.