아마존웹서비스(AWS)가 기업용 검색 서비스인 '아마존 켄드라 제너레이티브 AI 인덱스(Amazon Kendra GenAI Index)'를 출시했다고 발표했다. 이는 기업들이 대규모 언어 모델(LLM)을 활용해 기업 콘텐츠 기반의 생성형 AI 검색 경험을 구축할 수 있도록 지원하는 서비스다.

최근 기업들은 검색 증강 생성(Retrieval Augmented Generation, RAG) 기술을 활용해 기업 데이터를 기반으로 한 지능형 비서를 개발하고 있다. 하지만 효과적인 검색 시스템을 구축하는 과정에서 여러 도전 과제에 직면하고 있다. 다양한 데이터 소스 처리, 데이터 엔티티 관리, 메타데이터와 접근 제어 정보 유지 등이 주요 과제로 꼽힌다.

켄드라 제너레이티브 AI 인덱스는 최신 검색 및 검색 기술과 향상된 시맨틱 모델을 통합했다. 벡터 검색과 키워드 검색을 결합한 하이브리드 인덱싱 시스템을 통해 사전 최적화된 매개변수로 높은 검색 정확도를 제공한다. 특히 RAG 애플리케이션에 최적화된 검색 API를 제공해 더욱 정확한 결과를 도출할 수 있다.

아마존 베드록 널리지 베이스(Amazon Bedrock Knowledge Bases)와 아마존 Q 비즈니스(Amazon Q Business)와의 완벽한 통합을 지원한다. 하나의 인덱스로 여러 AWS 생성형 AI 서비스에서 활용할 수 있어 인덱스 재구축 없이도 다양한 용도로 활용이 가능하다.

새로운 인덱스는 더 작은 인덱스 단위를 도입해 용량 활용도를 개선했다. 이를 통해 기업들은 높은 성능을 유지하면서도 검색 인프라를 더욱 효율적으로 관리할 수 있게 됐다. 간소화된 아키텍처는 운영 부담을 줄이고 실제 사용 패턴에 따른 유연한 확장을 가능하게 한다.

켄드라 제너레이티브 AI 인덱스는 다양한 방식으로 활용할 수 있다. 우선 아마존 켄드라 독립 실행형으로 사용할 수 있으며, 이 경우 아마존 켄드라 콘솔에서 인덱스를 생성하고 데이터 소스를 추가한 후 동기화하여 검색 결과를 확인하고 활용할 수 있다. 또한 아마존 Q 비즈니스의 검색 엔진으로도 활용 가능하며, 이때는 아마존 Q 비즈니스 애플리케이션에 기존 켄드라 인덱스를 연결하여 웹 인터페이스를 통한 대화형 검색 경험을 제공할 수 있다. 마지막으로 아마존 베드록 널리지 베이스와 통합하여 사용할 수 있는데, 널리지 베이스 생성 시 켄드라 제너레이티브 AI 인덱스를 선택하여 RAG 기반의 지식 검색 시스템을 구축할 수 있다.

이 서비스는 쉐어포인트(SharePoint), 원드라이브(OneDrive), 구글 드라이브(Google Drive), 세일즈포스(Salesforce) 등 43개의 엔터프라이즈 데이터 소스와의 연동을 지원한다. 메타데이터 기반의 사용자 권한 필터링이 통합되어 있어 커스텀 커넥터 구축의 부담을 줄일 수 있다.

켄드라 제너레이티브 AI 인덱스의 구체적인 가격 정보는 아마존 켄드라 요금 페이지에서 확인할 수 있으며, 지원되는 AWS 리전 정보는 아마존 켄드라 엔드포인트 및 할당량 페이지에서 확인할 수 있다.

AWS 블로그는 켄드라 제너레이티브 AI 인덱스가 기업의 RAG 솔루션 구현을 위한 획기적인 발전이라고 평가했다. 독립 실행형 검색 솔루션으로 사용하거나, 아마존 Q 비즈니스와 통합하거나, 아마존 베드록 널리지 베이스를 통해 활용하는 등 기업이 원하는 방식으로 유연하게 활용할 수 있다고 강조했다.

노바에 대한 자세한 사항은 AWS 공식 블로그에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.