AI 모델이 기억하는 대화 분량을 늘릴수록 성능이 좋아진다는 통념과 다른 연구 결과가 공개됐다. 엔비디아 연구진 12명은 11월 3일 논문 공개 사이트 아카이브(arXiv)에 올린 논문에서, 긴 작업 중간에 대화 내용을 요약해 줄여도 AI 에이전트 성능이 대부분 유지됐다고 밝혔다. 여기서 문맥은 AI가 답을 만들 때 한 번에 참고하는 대화와 자료의 분량을 말한다. 긴 문맥을 처리하는 비용이 AI 서비스 가격에 직접 반영되는 만큼, AI 에이전트를 쓰는 기업과 개발자에게 비용 절감의 근거가 될 수 있는 결과다.

256K 문맥 운영 비용, 16K보다 최대 7배

연구진은 문맥이 길어질수록 나중에 생성하는 토큰의 비용이 먼저 생성하는 토큰보다 비싸진다는 점부터 확인했다. 토큰은 AI가 글을 처리하는 기본 단위로, 16K는 약 1만 6,000토큰, 256K는 약 25만 6,000토큰을 뜻한다. 초록에 따르면, 가중치가 공개된 최신 모델에서는 이 비용 차이가 최대 7배까지 커질 수 있다.

연구진이 비교한 결과, 256K 문맥으로 서비스할 때 생성 토큰 하나당 비용은 16K로 서비스할 때보다 지푸AI(Z.ai)의 GLM 5.2에서 3.6배, 문샷AI의 키미 K2.6에서 5.6배, 알리바바의 큐원 3 코더 넥스트에서 7배 높았다. 같은 양의 답을 생성해도 긴 문맥을 유지하면 비용이 몇 배로 늘어날 수 있다는 의미다.

대화 요약 압축 22개 설정, 2점 넘게 떨어진 경우 5개 이하

연구진은 대화가 정해진 길이에 이르면 지금까지의 내용을 요약해 줄이고 작업을 이어 가는 방식을 시험했다. 코딩 문제 해결(SWE-bench Verified), 터미널 명령 수행(Terminal-Bench 2.1), 여러 단계 검색 질문(FRAMES), 도구 호출(BFCLv3) 등 긴 작업 평가 6종에서 앤트로픽 클로드 오퍼스 4.5와 오픈AI GPT 5.6 솔을 주로 썼다.

논문은 전체 문맥 한도와 요약 시작 길이를 바꾼 22개 설정 가운데 기준 성능보다 2점 넘게 떨어진 경우는 5개 이하였다고 밝혀, 대부분의 설정에서 기준 성능과 비슷한 결과를 보였다. 대화 한 번에 행동을 하나만 하고 압축한 작업 상태만 다음으로 넘기는 방식에서도 클로드 오퍼스 4.5의 코딩 문제 해결 점수는 70.0점에서 70.2점으로 비슷했고, GPT 5.6 솔은 84.4점에서 82.4점으로 2.0점 낮아졌다.

긴 문서 질문 1,600개, 골라 읽기로 평균 점수 79.3점

긴 자료를 한꺼번에 읽히는 것보다 필요한 부분만 골라 읽히는 편이 더 나은 경우도 확인됐다. 긴 문서 여러 개를 읽고 답하는 질문 1,600개(LOONG)에서 클로드 오퍼스 4.5에 자료 전체를 넣었을 때 평균 점수는 70.1점, 완전히 맞힌 비율은 38.9%였다.

자료 가운데 필요한 부분만 골라 읽고 요약하며 문맥을 1만 6,000토큰 이하로 유지하자 평균 점수는 79.3점, 완전히 맞힌 비율은 53.4%로 올랐다. 자료를 모두 넣는 방식이 언제나 정답에 유리하지는 않다는 결과다.

큐원 3 코더 넥스트, 53.0%에서 3.6%로 하락

다만 부록에 실린 알리바바의 코딩 모델 큐원 3 코더 넥스트는 대화 요약 방식을 16K 설정으로 적용하자 코딩 문제 해결 성공률이 53.0%에서 3.6%로 크게 떨어졌다. 논문은 이 결과를 “치명적으로 무너졌다(catastrophically collapses)”고 표현했다.

연구진은 다음 단계로 자연어로 적은 작업 상태 설명을 읽고 행동한 뒤 그 설명을 고쳐 쓰도록 추가 학습한 모델을 ‘의미 상태 공간 모델(Semantic State Space Model)’이라는 이름으로 제안했다. 다만 이번 논문은 개념 제안에 그치며, 이 모델을 실제로 학습하거나 평가하지는 않았다.

논문은 초록에서 “우리의 발견은 긴 문맥 언어 모델이 필요한지 의문을 제기한다(Our findings question the need for long-context language models)”고 밝혔다. 문맥 길이 경쟁이 이어지는 AI 업계에서, 긴 문맥 자체보다 무엇을 남기고 무엇을 요약할지가 비용과 성능을 함께 좌우할 수 있다는 문제 제기다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. AI 모델의 문맥이란 무엇인가요?
문맥은 AI가 답을 만들 때 한 번에 참고하는 대화와 자료의 분량입니다. 문맥이 길수록 많은 자료를 한꺼번에 볼 수 있지만, 엔비디아 연구진은 문맥이 길어질수록 토큰 하나를 생성하는 비용이 최대 7배까지 커질 수 있다고 분석했습니다.

Q2. 대화를 요약해 줄이면 AI 성능이 떨어지지 않나요?
엔비디아 연구진의 실험에서는 대부분 성능이 유지됐습니다. 전체 문맥 한도와 요약 시작 길이를 바꾼 22개 설정 가운데 기준보다 2점 넘게 떨어진 경우는 5개 이하였습니다. 다만 큐원 3 코더 넥스트처럼 성공률이 크게 떨어진 모델도 있었습니다.

Q3. 의미 상태 공간 모델은 무엇인가요?
연구진이 제안한 개념으로, 자연어로 적은 작업 상태 설명을 읽고 행동한 뒤 그 설명을 고쳐 쓰도록 학습한 모델을 말합니다. 이번 논문에서는 개념만 제안했고 실제 학습과 평가는 하지 않았습니다.

기사에 인용된 리포트 원문은 아카이브(arXiv)에서 확인할 수 있다.
리포트명: You don’t need long context (엔비디아 연구진, arXiv:2611.05306, 2026년 11월)
이미지 출처: 엔비디아
해당 기사는 클로드를 활용해 작성되었습니다.