현지 시각 8월 30일 오픈AI 엔지니어 브렌트 트라우트(Brent Traut)가 X에 챗GPT 데스크톱 앱의 긴 대화 스레드가 90% 넘게 빨리 열린다고 밝혔다. 메모리 사용량도 90% 넘게 줄었다고 적었다. 이 수치는 오픈AI 공식 릴리스 노트나 뉴스룸에 실려 있지 않고, 담당 엔지니어 개인 게시글이 유일한 출처다.

기존 앱은 마지막 몇 개 메시지만 보려 해도 그 대화의 전체 데이터를 처음부터 끝까지 불러왔다. 트라우트는 그래서 스레드 데이터와 메모리 사용량이 사실상 제한 없이 커졌다고 설명했다. 그는 처음 데스크톱 앱을 만들 때는 모델이 지금만큼 많은 데이터를 내놓지 않았고, 모델 성능이 좋아지면서 대화가 길어졌다고 배경을 밝혔다.

이번 업데이트는 지연 로딩을 적용했다. 대화를 열면 최근 몇 턴만 먼저 불러오고, 이용자가 위로 올려 지난 내용을 볼 때 그만큼만 추가로 읽는다. 트라우트는 이를 위해 챗GPT가 파일을 디스크에 저장하고 불러오는 구조를 크게 다시 설계했다고 설명했다. 대화를 분기하거나 곁가지 대화를 만드는 작업도 거의 즉시 끝난다고 덧붙였다.

트라우트는 두 달 동안 풀 리퀘스트 300건 이상을 작업했다고 밝혔다. 오픈AI 로맹 위에도 X에서 긴 코덱스 스레드가 훨씬 빨리 열린다며 300건이 넘는 풀 리퀘스트가 들어갔다고 밝혔다. 트라우트는 앞으로 몇 주 안에 메모리 사용량을 여기서 한 자릿수 배수만큼 더 줄이겠다고 예고했다.

오픈AI는 8월 21일 공식 릴리스 노트에 웹에서 긴 대화가 더 효율적으로 열리며 대화를 통째로 가져오는 대신 작은 단위로 나눠 불러온다고 적었는데, 여기에는 수치가 없다. 데스크톱 앱의 90%는 별개 사안이다. 트라우트는 맥과 윈도우를 구분하지 않았고 적용 버전 번호도 밝히지 않았으며, 배포 시점은 게시일 기준 지난주라고만 적었다.

자세한 내용은 브렌트 트라우트 X 게시글에서 확인할 수 있다.

이미지 출처: 이디오그램 생성