2025 Planning Guide for Analytics and Artificial Intelligence

생성형 AI, 하이프 사이클 정점에서 22.6% 생산성 향상 약속

가트너의 2024년 AI 하이프 사이클에서 생성형 AI(Generative AI)는 여전히 정점에 위치하고 있다. 기업 경영진들은 생성형 AI를 통해 향후 12~18개월 동안 평균 22.6%의 생산성 향상, 15.8%의 매출 증가, 15.2%의 비용 절감을 기대하고 있다. 이러한 수치는 생성형 AI가 비즈니스 성과에 미치는 잠재적 영향력을 보여준다. 하지만 76%의 CIO와 기술 리더들은 혁신 속도와 확장 필요성 사이에서 균형을 맞추는 데 어려움을 겪고 있다.

생성형 AI 기술은 2024년에도 빠르게 발전했다. 주요 상용 및 오픈소스 대규모 언어 모델(LLM)은 성능이 크게 향상되면서도 토큰 길이 비용은、감소했다. 맥락 길이가 약 2,500페이지의 텍스트에 해당하는 100만 토큰까지 증가했으며, 특정 목적을 위한 소형 언어 모델의 등장, 여러 소규모 전문가 모델을 결합한 전문가 혼합(MoE) 모델, LLM 기반의 고급 추론 기능을 활용하는 AI 에이전트 등이 주목할 만한 발전이다.

2025년에는 기업들이 안전하고 민첩하며 확장 가능한 분석 및 AI 서비스를 제공해야 하는 과제에 직면할 것이다. 이를 위해 데이터 및 분석 기술 전문가들은 AI 및 분석 기반을 강화하고, 가치와 신뢰성을 강조하며, 신뢰와 투명성을 촉진해야 한다.

크롤-워크-런: 76%의 CIO가 선택한 AI 확장 전략

가트너는 기업이 생성형 AI를 도입하고 확장하기 위해 '크롤-워크-런(Crawl-Walk-Run)' 접근법을 제안한다. 이는 초기 파일럿부터 생산 구현, 그리고 최종적으로 확장 가능한 기반 구축으로 진행되는 전략이다.

첫 단계인 '크롤'에서는 내부 사용 사례로 시작하여 접근 가능한 기술 환경을 선택하고, 개념과 기술을 검증한 후 결과를 평가하고 문제점을 식별한다. 이 파일럿 단계에서 기업은 다양한 이해관계자에게 생성형 AI의 역량과 이점을 시연하고, 새로운 사용 사례의 우선순위를 정하며, 기술·위험·규정 준수·개인정보 보호·보안 관련 문제를 파악해야 한다.

'워크' 단계에서는 초기 파일럿의 성공과 교훈을 바탕으로 아이디어를 수집하고 사용 사례를 선택하는 공식적인 접근 방식을 수립한다. 생산성 향상과 고객 및 직원 경험 개선이 주요 기능적 사용 사례이며, 이는 텍스트 생성, Q&A 대화, 요약, 분류, 개체명 인식, 감정 분석, 언어 번역 등의 기술적 사용 사례로 구현된다.

'런' 단계에서는 중앙 집중식 핵심 팀을 넘어 여러 AI 및 소프트웨어 개발 팀이 참여하는 민주화된 모델로 확장하기 위한 접근 방식을 고려해야 한다. 이는 모듈식 아키텍처와 전체론적 관점을 필요로 한다.

RAG 아키텍처로 AI 환각 문제 해결: 기업 신뢰도 확보 전략

기업에서 생성형 AI를 확장 구현하기 위해서는 모듈식 아키텍처가 필수적이다. 통화 센터 상담원이 고객과 대화하는 도중 추가 정보를 찾고, 대화를 요약하며, 다른 팀에 대한 후속 조치를 식별하고, 대화 품질을 평가해야 하는 시나리오를 생각해보자. 이런 사용 사례는 다양한 프롬프트 흐름을 조율하고 여러 전문 모델을 활용해야 한다.

가트너의 클라이언트들은 생성형 AI 구현과 관련하여 세 가지 주요 우려사항을 표현했다. 첫째, 데이터 및 콘텐츠 개인정보 보호에 대한 염려로, 기업 독점 콘텐츠와 개인 식별 정보를 보호해야 한다. 둘째, 환각과 오래된 소스 데이터로 인한 신뢰성과 정확성 문제다. 셋째, 접근 제어와 잠재적 오용에 대한 우려가 있다.

이러한 위험을 완화하기 위해 대부분의 현재 기업 생성형 AI 구현은 검색 증강 생성(RAG) 설계 패턴을 기반으로 한다. RAG 아키텍처는 관련 컨텍스트와 프롬프트 지침으로 사용자 쿼리를 강화하고 가드레일과 모니터링 기능으로 지원하여 강력한 기업 솔루션을 제공한다. 효과적인 기업 솔루션 프레임워크는 다양한 비정형 콘텐츠를 수용하고, 여러 검색 기술을 활용하며, 구성 가능한 프롬프트 템플릿을 제공해야 한다.

AI 인재 부족 해결책: 데이터 과학자에서 AI 엔지니어까지 팀 구성 가이드

생성형 AI를 성공적으로 구현하려면 팀의 역량을 강화하는 것이 중요하다. RAG 솔루션 개발과 LLM 미세 조정은 일반적인 기계 학습 개발 프로세스와는 다른 지식과 기술을 요구한다. 데이터 과학자가 AI 및 ML 모델 개발 팀의 중심에 있지만, 성공적인 기술 팀은 AI 및 ML 엔지니어와 데이터 엔지니어의 동등한 기여가 필요하다.

기업들은 데이터 기반 의사결정에 대한 경쟁 우위를 확보하기 위해 시급한 필요성과 급변하는 기술 및 제품 역량 사이에서 기술, 도입, 위험 이해에 격차가 드러나고 있다. 이에 대응하여 기업은 기술 옵션을 평가하고, 팀 역량을 강화하며, 자동화와 간소화된 방법론을 통해 민첩성을 증가시키고, 일관되고 신뢰할 수 있는 구현을 위한 지침과 프레임워크를 수립해야 한다.

신뢰와 투명성에 대한 요구는 거버넌스, 데이터 및 AI 리터러시 관행을 주도할 것이다. 효과적인 AI 개발을 위해서는 데이터 및 AI 리터러시 프로그램을 구현하고, 가드레일과 지표를 설정하여 거버넌스 제어를 통합하며, 조직 프로세스, 표준, 모범 사례에 맞춰 조정해야 한다.

FAQ

Q: 생성형 AI는 실제로 기업에 어떤 가치를 제공할 수 있나요?

A: 생성형 AI는 기업에 생산성 향상(평균 22.6%), 매출 증가(15.8%), 비용 절감(15.2%)과 같은 실질적 가치를 제공할 수 있습니다. 주요 사용 사례로는 텍스트 생성(코드, 문서, 이메일 등), 대화형 Q&A, 콘텐츠 요약, 감정 분석, 언어 번역 등이 있으며, 이를 통해 업무 효율성을 높이고 고객 및 직원 경험을 개선할 수 있습니다.

Q: 기업이 생성형 AI를 도입할 때 가장 큰 위험 요소는 무엇인가요?

A: 기업이 생성형 AI를 도입할 때 가장 큰 위험 요소는 데이터 개인정보 보호 문제, 환각(hallucination)으로 인한 부정확한 정보 생성, 그리고 접근 제어 미흡으로 인한 잠재적 오용입니다. 이러한 위험을 완화하기 위해 검색 증강 생성(RAG) 아키텍처 도입, 적절한 가드레일 설정, 그리고 철저한 모니터링이 필요합니다.

Q: 일반 기업이 생성형 AI를 어떻게 시작해야 할까요?

A: 일반 기업은 '크롤-워크-런' 접근법으로 생성형 AI를 시작하는 것이 좋습니다. 먼저 내부 사용 사례로 파일럿 프로젝트를 시작하고, 개념과 기술을 검증한 후, 결과를 평가합니다. 이후 성공적인 사례를 기반으로 우선순위가 높은 사용 사례를 선택하여 확장하고, 최종적으로 모듈식 아키텍처와 전체론적 역량 맵을 구축하여 기업 전체에 AI 기술을 민주화하는 단계로 나아갑니다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

이미지 출처: 가트너

기사는 클로드와 챗GPT를 활용해 작성되었습니다.