더 빠른 AI를 만들고 싶다면, 오히려 AI가 망설이게 해야 한다. 역설처럼 들리지만 미시간대학교(University of Michigan)와 홍콩중문대학교(CUHK) 연구진이 이를 수학적으로 증명했다. AI가 확신하는 단어부터 먼저 생성하고 자신 없는 단어는 나중으로 미루는 '자신감 기반 디코딩(Confidence-Based Decoding)'이 이 전략의 효율성을 설명하는 최초의 이론적 분석 틀을 제시했다. 이 연구는 특정 조건에서 기존 방식 대비 큰 속도 향상을 보일 수 있음을 이론적으로 보여주며, AI 글쓰기 속도의 근본적인 한계를 다시 쓰고 있다.

한 글자씩 순서대로 쓰는 AI의 구조적 한계

챗GPT(ChatGPT)나 클로드(Claude) 같은 대부분의 AI는 '자기회귀(Autoregressive)' 방식으로 작동한다. "오늘 날씨가 좋다"라는 문장을 생성할 때, AI는 반드시 '오늘' → '날씨가' → '좋다' 순서로 한 단어씩 만들어낸다. 앞 단어가 정해져야만 다음 단어를 결정할 수 있어, 100단어 문장은 정확히 100번의 계산 단계를 거쳐야 완성된다.

이 방식은 안정적이지만 속도 면에서 구조적인 벽이 있다. 더 빠르게 만들고 싶어도 단계 수 자체를 줄이는 것이 원리적으로 불가능하다. 마치 타자기로 원고를 치는 것과 같다. 오타가 나도, 중간에 더 좋은 표현이 떠올라도, 이미 친 부분은 되돌릴 수 없고 끝까지 순서대로 나아가야 한다.

바로 이 한계를 정면으로 겨냥한 것이 '확산 언어 모델(Diffusion Language Models, DLMs)'이다. 처음부터 빈칸으로 가득 찬 문장을 놓고, 여러 위치를 동시에 채워나가는 방식이다. 이론상 100번이 아닌 10번, 혹은 더 적은 단계로도 문장을 완성할 수 있다. 문제는 딱 하나였다. 수십 개의 빈칸 중 어떤 것을 먼저 채워야 할까.

수능 1등급이 시험지를 푸는 방식, AI에 이식하다

수능을 잘 보는 전략은 단순하다. 모르는 문제에 매달리지 않는다. 확실한 것부터 빠르게 풀어 점수를 확보하고, 남은 시간에 어려운 문제로 돌아온다. 확산 언어 모델의 빈칸 채우기 전략도 정확히 이와 같은 원리에서 출발한다.

연구진이 주목한 전략은 'AI가 각 빈칸에 얼마나 확신하는지를 수치로 측정하고, 확신도가 높은 순서대로 채우는 것'이다. 이때 확신도를 측정하는 도구가 '엔트로피(Entropy)'다. 엔트로피는 대표적인 확신도 지표 중 하나로, 값이 낮을수록 예측이 확실함을 의미한다.

예를 들어 "대한민국의 수도는 ___"라는 문장에서 빈칸에 '서울'이 들어갈 확률이 99%에 가깝다면 엔트로피는 거의 0이다. AI는 이 빈칸을 즉시, 확신을 갖고 채운다. 반면 "오늘 점심 메뉴는 ___"에서 수십 가지 선택지가 비슷한 확률로 경쟁하고 있다면 엔트로피가 높다. AI는 이 빈칸을 섣불리 채우지 않고, 주변 맥락이 더 채워진 다음 단계로 미룬다.

연구진이 제안한 '엔트로피 합 기반(Entropy Sum-Based)' 전략은 매 단계마다 엔트로피가 낮은 빈칸부터 순서대로 채우되, 누적 엔트로피가 미리 정한 임계값을 넘으면 그 단계를 멈추는 방식이다. 확실한 단어는 한 번에 여러 개 생성하고, 불확실한 단어는 더 많은 맥락이 쌓인 뒤 신중하게 결정한다. 크로스워드 퍼즐에서 쉬운 힌트부터 풀면 그것이 어려운 칸의 단서가 되는 것과 같은 원리다.

10년간 증명하지 못했던 이유, 그리고 돌파구

자신감 기반 디코딩은 이미 여러 실험에서 우수한 결과를 보여왔다. 연구자들 사이에서 "실제로 잘 된다"는 공감대는 형성되어 있었지만, 정작 "왜 잘 되는가"에 대한 수학적 근거는 10년 가까이 공백으로 남아 있었다. 연구진은 논문에서 "실증적 성공에도 불구하고 자신감 기반 디코딩에 대한 이론적 이해는 여전히 제한적이었다"고 직접 인정했다.

이론 증명이 어려웠던 핵심 이유는 이 방식이 '적응적(Adaptive)'이기 때문이다. 어떤 빈칸을 먼저 채울지가 매 단계마다 달라지고, 그 결과에 따라 다음 단계의 결정도 연쇄적으로 바뀐다. 이전 결과가 다음 결정에 계속 영향을 미치는 구조는 수학적으로 분석하기 극히 까다롭다. 기존 이론 연구들이 단순히 무작위 순서로 빈칸을 채우는 '균일 디코딩(Uniform Decoding)'에만 집중했던 이유가 여기에 있다.

연구진은 새로운 분석 프레임워크를 도입해 이 벽을 넘었다. 핵심 아이디어는 각 단계에서 얼마나 많은 정보가 생성되는지를 '엔트로피 감소량'으로 추적하고, 이를 전체 데이터의 복잡도인 엔트로피 H(X₀)와 연결하는 것이다. 연구진이 도출한 결론은 명확하다. ε 수준의 정확도를 달성하는 데 필요한 예상 반복 횟수는 로그 항을 제외하면 O(H(X₀)/ε)에 비례한다. 문장이 예측 가능할수록 훨씬 적은 단계로 완성된다는 수학적 보장이다.

예를 들어 엔트로피가 낮은 경우에는 반복 횟수가 크게 줄어들 수 있다. 단순히 "빠르다"가 아니라, 조건에 따라 큰 폭의 속도 향상이 가능함이 이론적으로 보장된다는 점에서 이번 증명의 의미는 크다. 더욱 중요한 것은 이 전략이 데이터 분포에 대한 사전 정보 없이도 자동으로 적응한다는 점이다. 형식이 정형화된 뉴스 기사를 쓸 때는 저절로 빠르게 작동하고, 예측이 어려운 창작 소설을 쓸 때는 자동으로 신중해진다. 따로 설정을 바꾸지 않아도 데이터의 복잡도에 스스로 맞춰진다.

번역기, 챗봇, 의료 AI까지 달라지는 것들

이 연구의 파급력은 실험실 밖에서도 구체적으로 느껴진다. 가장 직접적인 수혜를 받을 것으로 예상되는 분야는 번역 서비스다. 현재의 자기회귀 방식은 문장을 왼쪽에서 오른쪽으로 순서대로 번역하기 때문에, 동사가 문장 끝에 오는 한국어를 번역하거나 한국어로 번역할 때 구조적으로 어색해지기 쉽다. 확산 언어 모델은 전체 문장 구조를 먼저 파악하고 고유명사나 핵심 동사처럼 확실한 요소부터 채워나가기 때문에 자연스러운 번역에 적합하다. 연구진은 논문에서 "비인과적 생성 메커니즘은 양방향 추론이나 전역 제약 조건 적용이 필요한 작업에 특히 적합하다"고 설명했다.

챗봇 경험도 달라질 수 있다. 지금처럼 한 단어씩 순서대로 답변이 출력되는 대신, 핵심 정보가 담긴 중요한 단어들이 먼저 표시되고 세부 내용이 뒤따르는 방식이 가능해진다. 500자 답변을 기다릴 때, 핵심 키워드가 먼저 보인다면 사용자가 답변의 방향을 빠르게 파악하고 필요 없으면 중단할 수 있다. 긴 답변을 끝까지 기다릴 필요가 줄어드는 셈이다.

이론적으로 다양한 분야에 응용될 가능성이 제기된다. 의료 분야를 예로 들면, AI가 환자 증상을 바탕으로 진단 보고서를 작성할 때, 확정 진단명이나 명확한 증상처럼 확실한 정보는 빠르게 채우고, 추가 검사가 필요한 불확실한 항목은 더 많은 맥락을 고려해 신중하게 생성할 수 있다. 의료진이 보고서를 검토하는 시간을 줄이면서도 정확성을 유지하는 데 이론적 근거가 생긴 셈이다.

물론 현재 확산 언어 모델이 자기회귀 모델의 전반적인 성능을 앞선다고 단언하기는 이르다. 이번 연구는 어디까지나 이론적 최적성을 증명한 것이며, 실제 서비스 적용까지는 다양한 언어와 데이터셋에서의 추가 검증이 필요하다. 하지만 오랫동안 당연하게 받아들여지던 전제를 깨고 일정 조건에서 속도와 품질을 동시에 개선할 수 있음을 보여준다는 점에서, 이 연구는 AI 언어 모델 개발의 방향을 바꿀 이정표로 기록될 가능성이 있다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 확산 언어 모델은 챗GPT 같은 기존 AI와 어떻게 다른가요? 챗GPT(ChatGPT) 같은 자기회귀 모델은 문장을 왼쪽에서 오른쪽으로 한 단어씩 순서대로 생성하지만, 확산 언어 모델(Diffusion Language Model)은 모든 위치를 빈칸으로 시작해 여러 단어를 동시에 생성할 수 있습니다. 수능 시험에서 쉬운 문제부터 풀고 어려운 문제는 나중에 돌아오는 것처럼, 확실한 단어부터 채워 나가는 방식으로 속도와 유연성이 높습니다.

Q. 자신감 기반 디코딩이 실제로 얼마나 빠른가요? 데이터의 복잡도에 따라 다르지만, 문장 길이가 100단어이고 엔트로피(불확실성 지표)가 10인 경우 기존 방식이 100번 반복해야 하는 것을 약 10번 반복으로 줄일 수 있어 이론상 최대 10배 빠릅니다. 뉴스 기사처럼 형식이 정형화된 텍스트일수록 속도 향상 효과가 더 크게 나타납니다.

Q. 이 기술은 언제쯤 실제 AI 서비스에 적용되나요? 현재 여러 연구기관과 기업에서 확산 언어 모델을 개발 중이며, 일부는 이미 자기회귀 모델과 경쟁할 수 있는 성능을 보이고 있습니다. 이번 연구가 이론적 근거를 제공한 만큼 실용화를 앞당길 것으로 예상되며, 향후 2~3년 내 번역, 챗봇, 문서 생성 등 다양한 서비스에 적용될 가능성이 있습니다.

기사에 인용된 논문 원문은 arXiv에서 확인할 수 있다.

논문명: Confidence-Based Decoding is Provably Efficient for Diffusion Language Models

이미지 출처: AI 생성 콘텐츠

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.