Customizing generative AI for unique value

모든 AI는 커스터마이징이 필요하다

마이크로소프트 애저(Microsoft Azure)와 MIT 테크놀로지 리뷰 인사이트(MIT Technology Review Insights)가 공동 발표한 리포트에 따르면,마이크로소프트 생성형 AI 기술이 기업 환경에 도입된 이후, 많은 기업들은 OpenAI, Google DeepMind, Mistral 등이 개발한 기초 모델(Foundational model)의 풍부한 기능을 활용하고 있다.

그러나 시간이 지남에 따라 기업들은 이러한 모델들이 방대한 공개 데이터로 학습되었기 때문에 한계가 있다는 점을 발견했다. 이에 등장한 개념이 바로 '커스터마이징'이다. 이는 기업의 특정 요구에 더 적합하도록 대규모 언어 모델(LLM)을 조정하는 방식으로, 기업의 데이터와 전문지식을 통합하거나, 모델에 새로운 기술이나 작업을 가르치거나, 프롬프트와 데이터 검색을 최적화하는 방식으로 이루어진다.

기업들이 AI 커스터마이징하는 이유 : 효율성 50%, 경쟁 우위 49%, 사용자 만족도 47%

MIT 테크놀로지 리뷰 인사이트가 300명의 전 세계 기업 기술 책임자들을 대상으로 조사한 결과, 기업들이 AI 모델을 커스터마이징하는 가장 큰 이유는 세 가지로 나타났다. 응답자의 절반(50%)은 작업 자동화, 워크플로우 간소화, 비즈니스 프로세스 최적화 등을 통한 효율성 향상을 위해 커스터마이징이 중요하다고 답했다. 비슷한 비율(49%)의 응답자들은 시장에서 독특한 솔루션을 통한 경쟁 우위를 확보하기 위해 커스터마이징이 중요하다고 답했다. 또한 47%는 개인화나 응답성 향상 등을 통한 사용자 만족도 향상을 중요한 이유로 꼽았다.

덴츠의 데이터 및 기술 글로벌 솔루션 및 AI 책임자인 탄위르 데니쉬(Tanwir Danish)는 "성장 촉진, 전체 경험 설계 및 활성화, 마케팅 캠페인 성과 최적화를 위한 독점 방법론을 보유하고 있습니다. 이는 우리의 전문 지식, 지식 기반, 독점 데이터 소스, 기계 학습 모델이 성장을 이끄는 엔터프라이즈급 AI 시스템을 구축할 수 있도록 지원하는 전문 분야입니다"라고 설명한다.

법률 산업을 위한 AI 솔루션 제공업체인 하비 AI(Harvey AI)의 대표이자 공동 창립자인 게이브 페레이라(Gabe Pereyra)는 "우리 법률 회사 고객의 많은 파트너들이 맞춤형 모델을 사용하여 질문하고, 정보를 얻고, 소송 요약을 작성하고, 다른 사람들이 생각하지 못할 수 있는 주장을 개발합니다"라며 이러한 솔루션이 법률가들의 역량을 향상시킨다고 말한다.

67%의 기업이 선택한 RAG 기술: "AI에게 회사의 기억력을 제공하는" 핵심 커스터마이징 방법

기업들이 생성형 AI 모델을 커스터마이징하는 방법 중 가장 널리 사용되는 것은 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술이다. 조사 대상 기업의 3분의 2(67%)가 RAG를 구현하거나 사용을 탐색 중이라고 응답했다. 절반 이상(54%)은 모델 미세 조정(Fine-tuning)을 사용하거나 탐색 중이며, 약 46%는 프롬프트 엔지니어링(Prompt engineering)을 사용한다고 답했다.

"기업의 기억력을 AI에게 제공하는 것이 RAG의 역할입니다"라고 마이크로소프트의 AI 플랫폼 제품 책임자이자 기업 부사장인 아샤 샤마(Asha Sharma)는 말한다. "범용 모델은 강력하지만, 제품, 정책, 조직이 비즈니스를 수행하는 방식과 같은 맥락이 빠져 있습니다." 그녀는 기업들이 오늘날 고객 지원, 직원 생산성, 규정 준수 및 위험 관리와 같은 영역에서 RAG의 혜택을 누리고 있다고 설명한다.

덴츠는 소매 고객을 위한 캠페인에서 자체 가드레일, 임베딩 및 벡터 저장소를 만들어 소매 및 마케팅 영역에서의 데이터 분석에 대한 기관의 전문 지식을 활용했다. "우리 모델은 이제 마케팅 성과 및 예산 할당에 관한 소매업체별 질문에 정확하게 답변합니다"라고 탄위르 데니쉬는 말한다. "AI 에이전트와 엔터프라이즈급 독점 AI 모델 및 데이터 저장소에 접근하는 맞춤형 RAG 프레임워크의 도움으로, 이제 우리 브랜드가 성장을 추진하기 위해 내리는 가장 영향력 있는 결정 중 일부를 지원할 수 있습니다."

52%가 데이터 보안 우려: 대기업일수록 커지는 AI 커스터마이징의 최대 장벽

생성형 AI의 커스터마이징에 있어 가장 큰 장벽은 데이터 무결성과 관련이 있다. 응답자의 절반 이상(52%)이 데이터 개인정보 보호 및 보안 확보가 주요 난관이라고 답했다. 거의 동일한 비율(49%)은 데이터 품질과 준비를 주요 어려움으로 꼽았다. 또한 45%는 커스터마이징이 모델의 출력과 성능에 미치는 영향을 측정할 능력이 없다고 보고했다.

기업들의 87%는 생성형 AI의 등장과 커스터마이징 능력이 애플리케이션 안전성에 대한 중요성을 높였다고 말한다. 약 3분의 1(32%)은 이것이 "훨씬 더 중요해졌다"고 답했다. 기업의 규모가 클수록 잠재적 침해에 대한 우려도 커진다. 연간 매출이 500억 달러 이상인 기업 응답자 중 57%는 안전이 훨씬 더 중요해졌다고 생각하는 반면, 가장 작은 기업(매출 5억 달러에서 10억 달러 사이)의 응답자 중에서는 단 14%만이 그렇게 생각한다.

"많은 보안 우려는 잘못된 방식으로 배포될 경우 유효합니다"라고 페레이라는 말한다. 그러나 그는 대부분의 데이터 유출이나 오염 문제가 결국에는 해결될 것이라고 믿는다. "오늘날 커스터마이징의 가치와 인식된 위험 사이에는 긴장이 있습니다. AI 성숙도가 높아지고 더 많은 조직이 커스터마이징함에 따라 인식된 위험은 줄어들 것입니다."

53%가 도입한 원격 측정 도구: AT&T의 성공 사례로 본 AI 개발 수명주기 자동화

절반 이상(53%)의 기업이 개발자를 위한 추적 및 디버깅을 위한 원격 측정 도구를 도입했다. 또한 많이 사용되는 도구로는 간소화된 개발 도구 플레이그라운드(51%), 엔지니어 간 더 나은 협업을 촉진하는 프롬프트 개발 및 관리(46%) 등이 있다.

AT&T의 데이터 과학 부사장인 마크 오스틴(Mark Austin)에 따르면, AT&T는 현재 55개의 생성형 AI 사용 사례를 운영 중이며, 그중 가장 큰 것 중 하나는 소프트웨어 개발의 전체 수명 주기를 자동화하는 에이전트 프레임워크이다. 이 이니셔티브는 기업이 2023년에 출시한 Ask AT&T, 즉 직원들이 데이터와 상호 작용할 수 있도록 도와주는 생성형 AI 애플리케이션에서 진화했다.

"이는 누군가가 특정 작업을 수행하기 위해 코드를 개발하거나 수정해야 한다고 일반 영어로 작성하는 것으로 시작합니다. 이 도구는 그것을 가지고 애플리케이션이 어떻게 구축될지에 대한 계획과 프레임워크를 생성합니다. 그런 다음 코드를 작성하고, 코드를 테스트하는 테스트 스크립트를 작성하고, 소프트웨어 취약점을 확인하며, 배포에 이르기까지의 모든 과정을 수행합니다"라고 그는 설명한다.

FAQ

Q: 생성형 AI의 커스터마이징이란 정확히 무엇인가요?
A: 생성형 AI의 커스터마이징은 기업의 특정 요구에 더 적합하도록 대규모 언어 모델(LLM)을 조정하는 과정입니다. 이는 기업의 고유한 데이터와 전문지식을 모델에 통합하거나, 모델에 새로운 기술이나 작업을 가르치거나, 프롬프트와 데이터 검색을 최적화하는 방식으로 이루어집니다. 이를 통해 기업은 일반적인 기초 모델보다 더 정확하고, 관련성 높은 결과를 얻을 수 있습니다.

Q: RAG(검색 증강 생성)란 무엇이며 왜 중요한가요?
A: RAG는 생성형 AI 모델이 외부 및 내부 소스에서 데이터를 검색하여 모델의 출력이 관련성 있고 최신 정보를 기반으로 하도록 보장하는 기술입니다. 아샤 샤마가 설명했듯이, "RAG는 AI에게 회사의 기억력을 제공합니다." 이는 고객 지원(최신 제품 문서에 실시간 액세스 제공), 직원 생산성(수천 개의 흩어진 문서를 전문 지식의 즉시 접근 가능한 저장소로 전환), 규정 준수 및 위험 관리(AI 모델이 액세스하고 참조할 수 있는 정보를 정확히 제어) 등의 영역에서 기업에 도움이 됩니다.

Q: 생성형 AI 커스터마이징의 주요 도전 과제는 무엇인가요?
A: 생성형 AI 커스터마이징의 주요 도전 과제는 데이터 무결성과 관련이 있습니다. 응답자의 52%는 데이터 개인정보 보호 및 보안 확보가 주요 난관이라고 답했으며, 49%는 데이터 품질과 준비를 주요 어려움으로 꼽았습니다. 또한 45%는 커스터마이징이 모델의 출력과 성능에 미치는 영향을 측정할 능력이 없다고 보고했습니다. 특히 민감한 내부 데이터가 공개 기초 모델에 유입되는 것이 가장 큰 개인정보 보호 우려 사항입니다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드와 챗GPT를 활용해 작성되었습니다.