앤트로픽이 8월 2주 동안 claude.ai와 클로드 데스크톱 앱의 주요 사용 과정을 평균 3.1배 빠르게 개선했다고 현지 시각 9월 23일 개발자 블로그에서 밝혔다. 이 기간 병합한 코드 변경은 3,000건이 넘었고, 고객에게 영향을 준 장애나 배포 취소는 한 건도 없었다.

개선 대상은 전체 이용의 95%를 차지하는 앱 실행, 대화 시작, 기존 대화 불러오기, 메시지 전송이다. 상위 75% 이용자 기준으로 웹에서 claude.ai를 처음 열어 입력이 가능해지기까지 걸리는 시간은 3.1초에서 0.55초로 단축됐다. 클로드 코드 새 세션 시작은 0.8초에서 0.3초, 클로드 코워크 클라우드 세션 불러오기는 2.6초에서 0.73초로 줄었다.

작업은 슬랙 채널에서 진행됐다. 엔지니어들은 슬랙용 클로드 태그(베타)에 오퍼스 5.5와 비슷한 사내 연구 모델을 연결했고, 클로드가 병목을 찾고 성능 측정 기준을 설계한 뒤 수정안을 제출하고 배포 결과까지 확인했다. 사람은 목표와 우선순위를 정하고 모든 변경을 승인했다. 동시에 진행된 대화 스레드는 150개를 넘었다.

앤트로픽은 측정할 때마다 결과가 달라지는 실행 시간 대신 CPU 명령어 수처럼 항상 같은 값이 나오는 지표를 기준으로 삼았다. 대화의 메시지 구조를 조립하는 코드에서 명령어 수를 48% 줄이자 실제 실행 시간은 78% 감소했다. 이후 명령어 수가 다시 증가하는 변경은 자동 검사에서 통과하지 못하도록 설정했다.

크롬의 자바스크립트 엔진 V8은 답변에 엠대시나 둥근 따옴표처럼 라틴-1 범위 밖 문자가 하나라도 있으면 문자열 전체를 더 느린 방식으로 처리한다. 이 때문에 코드 블록을 강조 표시할 때 화면이 1초가량 멈췄고, 앤트로픽은 20줄짜리 수정으로 해결했다.

위험한 변경은 짧게 쓰고 없애는 기능 스위치로 감싸 직원, 이용자 1%, 전체 순으로 배포했다. 2주 동안 약 200개의 스위치를 추가했고 그중 절반 이상은 기간 안에 제거했다.

자세한 내용은 앤트로픽에서 확인할 수 있다.

이미지 출처: 앤트로픽