퍼플렉시티가 17일(현지 시각) 여러 회사의 AI 모델을 하나의 API로 호출하는 ‘오케스트레이터(Orchestrator) API’를 출시했다. 퍼플렉시티는 오케스트레이터가 자사 API 플랫폼에서 지능형 모델 조율을 위한 첫 단계라고 밝혔다.
오케스트레이터는 오픈AI와 앤트로픽, 구글, xAI의 모델과 GLM, 키미, 딥시크 같은 오픈웨이트 모델을 지원한다. 오픈웨이트 모델은 퍼플렉시티가 직접 서빙하거나 추론 파트너가 서빙한다. 호출 형식은 오픈AI 챗 컴플리션과 오픈AI 리스폰스, 앤트로픽 메시지를 지원한다. 회사는 대부분의 팀이 API 키와 기본 URL을 바꾸고 사용할 모델을 고르면 시작할 수 있다고 설명했다.
퍼플렉시티는 올해에만 앤트로픽과 오픈AI 같은 연구소가 12개가 넘는 새 모델을 공개했고, 오픈웨이트 모델도 100개 넘게 출시됐다고 밝혔다. 모델 제공자를 여러 곳 쓰면 계정과 API 키, 계약, 보안 심사, 청구서를 따로 관리해야 할 수 있다는 설명이다. 오케스트레이터는 공급사 하나, 청구서 하나로 이용하며, 크레딧 외에 별도의 플랫폼 수수료는 받지 않는다. 팀은 간단한 대량 작업을 저비용 모델로 처리하고, 성능이 높은 모델은 어려운 작업에 쓸 수 있다. 제공자마다 따로 약정을 협상하지 않고 모델 조합을 바꿀 수도 있다.
API 콘솔에서는 모델, 프로젝트, API 키, 날짜별 지출을 확인할 수 있다. 조직 단위의 모델 허용 목록과 사용자 제한, 지출 상한, 용량 요청 같은 관리 기능도 제공한다.
퍼플렉시티는 자사 모델 계층이 85개가 넘는 모델과 12곳이 넘는 제공자 사이에서 수억 건의 요청을 배정한다고 밝혔다. 오케스트레이터는 제공자별 상태와 용량, 지연 시간을 추적하고, 요청이 실패하면 같은 모델의 다른 배포에서 다시 시도할 수 있다. 회사는 하루 수백만 건을 처리하는 팀이라면 성공률 99.0%와 99.99%의 차이가 수천 건의 응답에 영향을 줄 수 있다고 설명했다. 오케스트레이터의 한 달 실제 트래픽에서 퍼플렉시티를 거친 클로드와 GPT 요청은 측정한 어떤 개별 제공자보다 성공률이 높았고, 제공자 장애 때 일별 변동도 작았다.
미리 보기 기능으로는 ‘라우트(Routes)’와 ‘자동 노력(Auto effort)’을 제공한다. 라우트는 어떤 요청을 어느 모델이 처리할지 자연어로 정하고 기본 모델을 지정하는 기능이다. 저비용, 균형, 고품질 기본 프로필에서 시작하거나 직접 설정할 수 있다. 자동 노력은 개발자가 정한 정책에 따라 지원 모델이 다음 차례에 쓰는 추론량을 조절한다. 에이전트가 모델을 바꾸지 않고 도구 오류 복구에 더 많은 추론을 쓰게 할 수 있다. 대량 또는 약정 사용 고객은 api@perplexity.ai로 물량 가격과 용량을 문의할 수 있다.
자세한 내용은 퍼플렉시티에서 확인할 수 있다.
이미지 출처: 퍼플렉시티
AI Matters 뉴스레터 구독하기

