Open Deep Search: Democratizing Search with Open-source Reasoning Agents

오픈소스 기반 검색 AI 솔루션의 부상

인공지능 검색 분야는 현재 퍼플렉시티(Perplexity)와 GPT-4o 검색 프리뷰(GPT-4o Search Preview)와 같은 독점 솔루션들이 주도하고 있다. 그러나 이러한 상황에 변화를 가져올 중요한 오픈소스 프로젝트가 등장했다. 비영리 단체 센티언트(Sentient)에서 개발한 '오픈 딥 서치(Open Deep Search, 이하 ODS)'는 최신 오픈소스 대형 언어 모델(LLM)의 추론 능력과 웹 검색 도구를 결합하여 질의에 답변하는 프레임워크다.

해당 연구를 기록한 논문에 따르면, ODS의 가장 큰 혁신은 사용자가 선택한 기본 LLM을 그대로 활용하면서도 오픈 서치 툴(Open Search Tool)과 오픈 리즈닝 에이전트(Open Reasoning Agent)라는 두 가지 핵심 구성 요소를 통해 기존 독점 솔루션과 비슷하거나 더 나은 성능을 제공한다는 점이다. 특히 DeepSeek-R1과 같은 강력한 추론 기능을 갖춘 오픈소스 LLM과 결합했을 때 SimpleQA와 FRAMES라는 두 벤치마크에서 현재 최고 수준의 독점 솔루션들과 견줄만한 성능을 보여주고 있다.

질의 맥락을 분석하는 쿼리 리프레이징과 맞춤형 컨텍스트 추출로 구현한 혁신적 검색 성능

ODS의 핵심 구성 요소인 오픈 서치 툴은 단순히 검색 결과를 LLM에 전달하는 것을 넘어 더 정교한 검색 프로세스를 수행한다. 이 도구는 필요에 따라 질의를 재구성하고, 상위 검색 결과에서 컨텍스트를 추출한 다음, 관련성 임계값 이상의 내용을 필터링하기 위해 청킹과 재순위 지정을 적용한다. 또한 위키피디아, ArXiv, PubMed와 같은 주요 API를 위한 맞춤형 웹사이트 처리도 구현했다.

또 다른 구성 요소인 오픈 리즈닝 에이전트는 ReAct 에이전트와 CodeAct 에이전트라는 두 가지 버전으로 제공된다. 이 에이전트의 목표는 질의를 해석하고, 검색된 컨텍스트를 평가하며, 웹 검색을 위한 오픈 서치 툴을 포함한 적절한 도구를 사용하여 질의에 답변하는 것이다.

성능 측면에서 ODS는 놀라운 결과를 보여주고 있다. FRAMES 벤치마크에서 ODS-v2+DeepSeek-R1은 75.3%의 정확도를 달성하여 GPT-4o 검색 프리뷰(65.6%)를 9.7% 상회했다. SimpleQA에서도 88.3%의 정확도를 보이며 퍼플렉시티 소나 리즈닝 프로(Perplexity Sonar Reasoning Pro, 85.8%)를 능가했다.

필요에 따라 질의당 평균 1.45~3.39회 적응적 웹 검색을 수행하는 똑똑한 AI 에이전트

ODS의 가장 큰 장점은 모든 사용자가 자신이 선택한 LLM과 함께 사용할 수 있는 플러그-앤-플레이 프레임워크라는 점이다. 이는 개발자들이 최신 LLM 발전을 활용하면서도 고품질 검색 결과를 얻을 수 있게 해준다.

ODS의 두 버전(ODS-v1과 ODS-v2)은 각각 다른 접근 방식을 취한다. ODS-v1은 ReAct 기반 에이전트를 사용하며, ODS-v2는 CodeAct 기반 에이전트를 사용한다. 특히 ODS-v2는 복잡한 질의에 더 적합하며, 필요에 따라 적응적으로 더 많은 웹 검색을 수행한다. 예를 들어, FRAMES 벤치마크에서 ODS-v2+DeepSeek-R1은 질의당 평균 3.39회 검색을 수행한 반면, SimpleQA에서는 1.45회만 검색을 사용했다.

더불어 ODS는 정교한 쿼리 리프레이징 기능을 통해 사용자 질의의 맥락을 유지하면서도 다양한 검색을 수행할 수 있다. 예를 들어 "인터넷 속도를 빠르게 하는 방법"이라는 질의에 대해 "Wi-Fi 신호를 강화하는 방법", "대역폭을 늘리는 방법" 등의 관련 질의를 생성해 더 다양하고 관련성 높은 검색 결과를 제공한다.

깃허브 공개로 누구나 활용 가능해진 고성능 검색 AI 기술의 대중화

ODS의 등장은 검색 AI 분야에서 오픈소스 커뮤니티의 성장 가능성을 보여준다. 이제 개발자들은 퍼플렉시티나 GPT-4o 검색 프리뷰와 같은 독점 솔루션에 의존하지 않고도 고품질 검색 AI 솔루션을 구축할 수 있게 되었다. ODS는 깃허브를 통해 공개적으로 제공되며, 연구자와 개발자들이 이를 기반으로 더 발전된 오픈소스 검색 솔루션을 개발할 수 있는 길을 열어두었다. 이는 AI 검색 분야에서 투명성을 높이고, 혁신을 촉진하며, 기업가 정신을 장려하는 데 기여할 것으로 기대된다.

FAQ

Q: 오픈 딥 서치(ODS)는 정확히 어떤 기술인가요?

A: ODS는 사용자가 선택한 오픈소스 LLM을 웹 검색 기능과 결합한 AI 검색 프레임워크입니다. 오픈 서치 툴과 오픈 리즈닝 에이전트라는 두 가지 주요 구성 요소를 통해 고품질 검색 결과를 제공합니다. 사용자는 자신이 선택한 LLM을 그대로 활용하면서도 퍼플렉시티나 GPT-4o 검색 프리뷰와 같은 독점 솔루션에 견줄만한 성능을 경험할 수 있습니다.

Q: ODS가 기존의 검색 도구와 다른 점은 무엇인가요?

A: ODS는 단순히 검색 결과를 반환하는 것이 아니라, 질의를 재구성하고, 관련성 높은 컨텍스트를 추출하며, 적응적으로 여러 번의 검색을 수행하는 정교한 검색 프로세스를 제공합니다. 또한 사용자가 선택한 LLM의 추론 능력을 활용하여 복잡한 질의에도 정확한 답변을 제공할 수 있습니다.

Q: 일반 사용자가 ODS를 어떻게 활용할 수 있나요?

A: ODS는 오픈소스 프로젝트로, 깃허브(https://github.com/sentient-agi/OpenDeepSearch)에서 제공됩니다. 개발 지식이 있는 사용자라면 자신이 선택한 LLM(예: Llama3.1-70B 또는 DeepSeek-R1)과 함께 ODS를 설치하고 사용할 수 있습니다. 이를 통해 독점 검색 솔루션에 의존하지 않고도 고품질 검색 결과를 얻을 수 있습니다.

해당 기사에서 인용한 논문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗gpt를 활용해 작성되었습니다.