오픈AI(OpenAI)가 비용 최적화를 위한 '플렉스 프로세싱(Flex processing)' 베타 서비스를 출시했다. 이 기능은 응답 속도가 느리고 가끔 리소스를 사용할 수 없는 상황이 발생할 수 있지만, 대신 대폭 낮아진 가격으로 AI 모델을 이용할 수 있게 해준다.

플렉스 프로세싱은 현재 o3와 o4-mini 모델에서만 베타 서비스로 제공된다. 이 서비스를 이용하면 토큰 입력과 출력 비용이 배치 API 요금 수준으로 책정되어, 기존 대비 약 50%의 비용 절감 효과를 얻을 수 있다. 오픈AI 공식 문서에 따르면, 플렉스 프로세싱은 모델 평가, 데이터 풍부화, 비동기식 워크로드와 같은 프로덕션 환경에서 사용하지 않거나 우선순위가 낮은 작업에 이상적이라고 설명했다.

플렉스 프로세싱의 가장 큰 매력은 API 비용이 정확히 절반으로 줄어든다는 점이다. o3 모델의 경우, 플렉스 프로세싱은 입력 토큰당 $5/M(약 750,000단어)과 출력 토큰당 $20/M의 비용이 발생한다. 이는 기존의 입력 토큰당 $10/M과 출력 토큰당 $40/M에 비해 절반 수준이다. o4-mini 모델의 경우에도 비슷한 비용 절감 효과가 있다. 플렉스 프로세싱을 사용하면 입력 토큰당 $0.55/M과 출력 토큰당 $2.20/M으로, 기존의 입력 토큰당 $1.10/M과 출력 토큰당 $4.40/M보다 저렴하다.

플렉스 가격 출시를 알리는 고객 이메일에서, 오픈AI는 사용 계층 1-3에 해당하는 개발자들이 o3 모델에 접근하기 위해서는 새롭게 도입된 ID 인증 과정을 완료해야 한다고 밝혔다. 사용 계층은 오픈AI 서비스에 지출한 금액에 따라 결정된다. o3 및 다른 모델의 추론 요약과 스트리밍 API 지원도 인증 과정 이후에만 이용할 수 있다. 오픈AI는 이전에 ID 인증이 악의적인 사용자들이 사용 정책을 위반하는 것을 막기 위한 조치라고 설명한 바 있다.

이번 플렉스 프로세싱 출시는 AI 시장에서 가격 경쟁력을 높이려는 오픈AI의 전략적 움직임으로 해석된다. 속도와 가용성을 어느 정도 희생하더라도 비용 효율성을 중시하는 기업과 개발자들에게 새로운 선택지를 제공함으로써, 오픈AI는 구글 등 경쟁사와의 차별화를 시도하고 있다.

해당 기능에 대한 자세한 사항은 링크에서 확인할 수 있다.

이미지 출처: 오픈AI

기사는 클로드와 챗gpt를 활용해 작성되었습니다.