앤트로픽(Anthropic)이 14일(현지 시간) 자사 웹사이트를 통해 API에 중요한 업데이트를 발표했다. 이번 업데이트는 클로드 3.7 소넷(Claude 3.7 Sonnet) 모델 사용 시 처리량을 증가시키고 토큰 사용량을 줄여준다.

프롬프트 캐싱은 API 호출 간에 자주 사용하는 컨텍스트를 저장하고 재사용할 수 있게 해주는 기능이다. 이를 통해 긴 프롬프트에 대한 비용을 최대 90%, 지연 시간을 최대 85%까지 절감할 수 있다. 이제 클로드 3.7 소넷에서는 프롬프트 캐시 읽기 토큰이 분당 입력 토큰(ITPM) 제한에 포함되지 않는다. 개발자는 기존 속도 제한 내에서 더 많은 처리량을 얻을 수 있게 되었다. 또한 캐시 중단점을 설정하면 클로드가 자동으로 이전에 캐시된 가장 긴 접두사를 읽기 때문에 캐시 관리가 더 간편해졌다. 개발자는 더 이상 캐시 세그먼트를 수동으로 추적할 필요가 없다.

클로드 3.7 소넷은 이제 토큰 효율적인 방식으로 도구를 호출할 수 있어 출력 토큰 소비를 최대 70%까지 줄일 수 있다. 초기 사용자들은 평균 14%의 토큰 감소를 경험했다. 이 기능을 사용하려면 도구 사용 요청에 베타 헤더 token-efficient-tools-2025-02-19를 추가하면 된다.

새로 도입된 텍스트 에디터 도구는 클로드가 소스 코드, 문서, 연구 보고서 내의 특정 부분을 편집할 수 있게 해준다. 이는 토큰 소비와 지연 시간을 줄이면서 정확성을 높인다.

코그니션(Cognition)의 CEO 스콧 우(Scott Wu)는 "프롬프트 캐싱을 통해 코드베이스에 대한 더 많은 컨텍스트를 제공하여 비용과 지연 시간을 줄이면서 더 높은 품질의 결과를 얻을 수 있다"고 말했다. 이러한 기능들은 현재 모든 앤트로픽 API 고객이 최소한의 코드 변경으로 즉시 구현할 수 있으며, 앤트로픽 API, 아마존 베드록(Amazon Bedrock), 구글 클라우드의 버텍스 AI(Vertex AI) 플랫폼에서 사용 가능하다.

해당 발표에 대한 자세한 사항은 링크에서 확인할 수 있다.

이미지 출처: 앤트로픽

기사는 클로드와 챗GPT를 활용해 작성되었습니다.