구글이 8일(현지 시간) 자사 개발자 블로그를 통해 생성형 AI 개발자들의 비용 효율성을 높이는 새로운 기능을 선보였다. 제미나이(Gemini) API에 '암시적 캐싱' 기능을 도입해 개발자들이 별도의 설정 없이도 반복 요청에 대한 비용을 크게 절감할 수 있게 됐다.

구글은 2024년 5월 명시적 캐싱을 선보인 후 개발자들이 반복적인 컨텍스트에 대해 75%의 비용을 절감할 수 있도록 도왔다. 이번에 출시된 암시적 캐싱 기능은 개발자가 별도로 캐시를 생성하지 않아도 자동으로 비용 절감 혜택을 제공한다. 제미나이 API 제품 관리자인 로건 킬패트릭(Logan Kilpatrick)은 "제미나이 2.5 모델에 요청을 보낼 때, 이전 요청과 공통된 접두사가 있으면 캐시 히트 대상이 된다"고 설명했다. 이를 통해 구글은 동일한 75%의 토큰 할인을 동적으로 적용해준다.

개발자들이 캐시 히트 확률을 높이기 위해서는 요청 시작 부분의 내용을 동일하게 유지하고, 사용자의 질문이나 요청에 따라 변경될 수 있는 추가 컨텍스트는 프롬프트 끝부분에 배치하는 것이 좋다. 자세한 암시적 캐싱 활용 방법은 제미나이 API 문서에서 확인할 수 있다. 또한 구글은 더 많은 요청이 캐시 히트 대상이 될 수 있도록 최소 요청 크기를 2.5 플래시(Flash)는 1024 토큰으로, 2.5 프로(Pro)는 2048 토큰으로 각각 축소했다.

비용 절감을 보장하고 싶은 경우, 개발자들은 여전히 제미나이 2.5 및 2.0 모델을 지원하는 명시적 캐싱 API를 사용할 수 있다. 현재 제미나이 2.5 모델을 사용 중인 개발자들은 사용량 메타데이터에서 cached_content_token_count를 확인할 수 있으며, 이는 요청에서 캐시된 토큰 수를 나타내고 더 낮은 가격으로 청구된다.

구글은 이번 업데이트를 통해 비용 효율성을 더욱 높이고, 개발자들의 피드백을 기대한다고 밝혔다. 앤트로픽(Anthropic)과 같은 경쟁사들도 비슷한 비용 효율화 기능을 제공하고 있지만, 구글의 암시적 캐싱은 개발자 경험을 단순화하는 방향으로 진화했다. 한편 구글은 최근 제미나이 2.0을 통한 이미지 생성 및 편집 기능과 제미나이 2.5 프로의 코딩 성능 향상도 발표했다. 생성형 AI 시장에서 기술력과 비용 효율성을 동시에 높이려는 구글의 노력이 계속되고 있다.

해당 기사의 원문은 링크에서 확인할 수 있다.

이미지 출처: 구글

기사는 클로드와 챗gpt를 활용해 작성되었습니다.