[IT동아 남시현 기자] 지난 7월 6일부터 11일 사이, 서울 코엑스에서 제43회 국제머신러닝학회(International Conference on Machine Learning, ICML 2026)가 개최됐다. ICML은 신경정보처리시스템학회(NeurIPS), 표현 학습 국제학회(ICLR)와 함께 AI 3대 학회로 불린다. 팩트 시트에 따르면 ICML 학회 역사상 입장권이 매진된 것은 43년 역사상 처음이며 7월 6일 기준 2만 456명이 서울을 찾았다. 올해 워크숍은 총 44개, 제출된 논문은 2만 4661개이며 이중 6552개의 논문만이 채택됐다. 참석자와 제출 논문 숫자 모두 역사상 최대 규모다.

전 세계 AI 과학자 및 학계가 ICML에 주목한 이유는 앞으로 몇 년간 전 세계 인공지능 시장의 추세를 미리 확인할 수 있는 자리라서다. 생성형 AI와 거대언어모델의 효율화, 강화학습 등 일반적으로 쓰이는 AI 방법론이 ICML에서 처음 등장했으며, 이 자리에 제출된 논문은 업계가 공인한 최고 수준의 논문임이 공헌된다. 게다가 인공지능이 연구 단계를 넘어 현실 세계에 영향을 미치기 시작하면서 그 주목도는 갈수록 더 높아질 전망이다.

반도체 기업들 입장에서도 ICML은 매우 중요한 자리다. 오늘날 반도체 산업은 더 이상 하드웨어 제조로 끝나지 않는다. ICML에서 발표되는 양자화, 가지치기, 저랭크 매개변수 미세조정 등의 AI 기술은 반도체 메모리 병목을 해결하고 하드웨어의 작업 효율을 끌어올릴 수 있는 핵심 방안이며, 이를 바탕으로 하드웨어와 소프트웨어를 공동 설계하는 것이 기본이다. 또한 AI 가속기에 적용된 새로운 방법론이 ICML에서 입증받았다는 것도 중요한 대목이다.

올해 ICML에 참여한 반도체 기업으로는 엔비디아, 삼성전자, 인텔, AMD 등의 글로벌 기업은 물론 텐스토렌트, 세레브라스, 삼바노바 등 글로벌 스타트업들도 ICML에 참여하거나 연구원 자격으로 논문을 제출하고 했다. 국내 기업으로는 한양대-리벨리온이 제출한 ‘ReQAT’ 논문이 구두 발표로 선정돼 전 세계 연구자들의 주목을 받았고, UC 샌디에이고-디노티시아 연구팀도 ‘STAR-KV’를 발표해 상위 2.2%에 부여되는 스포트라이트로 논문을 발표했다.

국내 주요 AI 반도체 기업인 퓨리오사AI도 알고리즘 팀의 AI 리서처 및 유관 부서 연구자들이 메인 콘퍼런스 두 건, 워크숍 두 건으로 총 네 건의 논문을 제출해 채택됐다. 제출 논문은 ▲ AsyncOPD: 정책 기반 증류는 얼마나 오래될 수 있을까?(AsyncOPD: How Stale Can On-Policy Distillation Be?) ▲ 효율적인 롤아웃: 강화 학습 롤아웃을 위한 시스템 인식 자기 추측 디코딩(EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts) ▲ LoSA: 블록 단위 확산 언어 모델을 위한 지역성 인식 희소 어텐션 (LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models) ▲ ReJump: LLM 추론 분석 및 개선을 위한 트리 점프 표현 방식(Rejump: A Tree-Jump Representation For Analyzing And Improving LLM Reasoning) 네 건이다.

네 건의 논문은 AI 가속기로 학습된 모델을 처리하는 추론(Inference)의 효율성 향상에 초점을 맞췄있며 반도체 효율 향상은 물론 추론 반도체 생태계 전반에 기여할 수 있는 내용들이다.

퓨리오사AI 알고리즘 팀은 네 건의 논문이 각각 다른 시간에 발표되는 점을 고려해 해외 AI 리서처, 리서치 엔지니어, 퓨리오사AI의 연구 등에 관심있는 현업 종사자 및 학계 관계자들을 대상으로 지난 7월 7일 별도 행사를 열고 논문 발표 겸 네트워크 행사를 진행했다. 해당 행사는 세계 3대 학회 중 하나인 ICML 참석차 서울을 방문한 연구자들이 가벼운 마음으로 참석할 수 있도록 편안한 분위기에서 진행됐으며, 퓨리오사AI가 하드웨어뿐만 아니라 소프트웨어 연구도 꾸준히 진행 중임을 알렸다. 해당 행사장에서 발표된 네 건의 논문을 살펴봤다.

정책 기반 증류(OPD) 효율성 높여 RNGD 활용도 높여

강화학습 기반의 대형언어모델(LLM) 사후학습은 AI가 답변을 생성할 때 대답이 지연되는 ‘롤아웃 생성 지연’ 문제가 발생하며, 학습 효율을 높이기 위해 서버 상에서 학습과 추론을 분리해서 진행하는 비동기 방식으로 학습한다. 이때 비동기 방식은 최신 버전이 아닌 이전 버전으로 학습되는 문제가 있어 성능 저하를 극복하기 위한 연구가 계속되어 왔다. 최근에는 AI가 직접 문제를 풀어보게 하는 정책 기반 증류(이하 OPD)가 주목받고 있으나 이 역시도 오래된 데이터로 학습하는 방법에 대한 연구가 제대로 이뤄지지 않았다.

연구팀은 AI 학습 시 결과물인 소형 모델이 원본 대형 모델과 최대한 정답을 맞히려고 하는 역방향 KL 다이버전스에 집중했다. 우선 정방향 KL 다이버전스는 소형 모델이 정답 근처의 가능성을 넓게 아우르도록 학습하며, 역방향 KL 다이버전스는 정답에 가깝게 학습되지만 오래된 데이터를 사용했을 때 불리하다. 그래서 역방향 KL 다이버전스로도 안정적으로 학습하도록 학습 업데이트 시점에 현재 상태를 반영해 다시 계산한 뒤 여러 번 계산해 평균을 내는 방식으로 계산 오차를 줄인 다중 샘플 몬테카를로 방식으로 결과물을 가다듬는 방법론을 제안한다.

즉 AsyncOPD는 역방향 KL 다이버전스에 최신 데이터를 업데이트하고, 계산의 최종 오차를 평균치로 맞춰 기존의 정책 기반 증류의 효율성을 크게 높이는 방안이다. 논문에서는 기존의 동기식 학습 대비 훈련 처리량이 1.6배가 향상됐으며, 최대 3.8배까지 늘었다. 퓨리오사AI의 RNGD의 경우 추론 효율이 높은 구성인데, 여기에 롤아웃 전용 서버를 구축하고 비동기 학습 파이프라인을 구축하면 LLM의 강화학습과 OPD의 효율 전반을 높일 수 있다.

LLM 답변 생성 효율 높이는 ‘EfficientRollout’

효율적인 롤아웃은 강화학습 기반의 LLM 사후 학습 과정에서 답변 생성 전반의 과정을 뜻하는 롤아웃의 생성 지연 문제를 효율화하기 위한 ‘시스템 인식형 자기 추측 디코딩 프레임워크’다. 쉽게 말해 LLM이 답변을 생성할 때 초안을 활용해 작성 효율을 높이고, 작업 성능에 따라 이를 가변적으로 운용하는 방안이다. 답변 생성 과정은 줄이고, 결과의 지연 시간은 줄일 수 있다.

초안을 활용하는 방안은 기존의 강화학습에서 ‘추측 디코딩’이라고 부르는 기술이다. 초안을 사전에 작업하니 답변 속도는 빨라지지만 조건에 따라 초안 모델도 별도로 학습해야 해 시스템 전반의 작업 효율이 떨어진다. 논문에서는 초안 모델은 별도로 구축하지 않고 원본 값을 양자화(압축)해 시스템의 부담을 줄였다. 또한 작업량이 많을 때는 추측 디코딩을 끄고 작업에 집중하다가, 속도를 높일 수 있을 때 활성화한다. 또한 학습이 진행될수록 초안 채택률이 높아지므로 동적으로 초안의 길이를 조절해 처리 효율을 조정한다.

‘효율적인 롤아웃’은 결과적으로 기존 결과와 비교해 답변 생성 지연 시간은 최대 19.6%, 엔드투엔드 지연 시간은 최대 12.7%까지 감소한다. 쉽게 말해 효율적인 롤아웃 방법론은 초안 생성 모델을 직접 학습하는 대신 양자화로 구축하고, 이를 동적으로 운용해 작업 효율을 끌어올린다. 퓨리오사AI RNGD는 최근 LLM 추론 목적을 강조하고 있는데 이 방법론을 응용하면 RNGD 기반 환경에서의 답변 생성 성능을 전반적으로 높일 수 있다.

차세대 ‘디퓨전 언어 모델’ 효율화로 향후 경쟁력 잡는 LoSA

지역성 인식 희소 어텐션(LoSA)은 퓨리오사AI 알고리즘팀과 하오청 시(Haocheng Xi), 하만 싱(Harman Singh) 등 UC 버클리 박사과정생들과의 협력을 통해 출간된 프로젝트다. LoSA는 이미지나 영상, 언어 데이터 등을 작은 블록 형태로 생성하거나 학습하는 ‘블록 단위 디퓨전 모델’에서 콘텍스트의 길이가 매우 길어졌을 때 일부 내용만 집중해 처리하자는 방식을 제안한다. AI에 입력하는 콘텍스트가 길어지면 이를 임시 저장하는 KV 캐시의 용량이 커진다. 기존에는 KV 캐시를 안배하고자 일부분만 확인하는 희소 어텐션 방식을 썼지만 중요한 내용을 놓쳐 정확도가 떨어지는 문제가 있었다.

LoSA는 블록 단위로 처리할 때 표현이 크게 변하는 토큰은 소수고, 나머지 토큰은 안정 상태를 유지해 표현이나 정확도에 큰 영향을 미치지 않는 것을 착안해 필요한 토큰만 희소 어텐션 처리한다. 특히 안정적인 토큰의 처리 결과는 캐시 단위에서 재사용하고, 활성 토큰에 대해서만 희소 어텐션을 다시 계산한다. 그 결과 모든 문맥을 처리하는 밀집 어텐션에 가까운 정확도를 유지하면서 처리 속도는 최대 4.14배까지 늘렸다.

해당 논문은 퓨리오사AI RNGD의 아키텍처인 텐서 축약 프로세서(TCP)와 궤를 같이한다. TCP는 행렬 곱셈 대신 텐서 축약을 기본 연산 단위로 잡고, SRAM으로 데이터를 재사용하는 기술을 갖췄다. LoSA로 데이터를 재사용하고 활성 토큰을 구분하면 TCP의 경쟁력을 더 높일 수 있다. 다만 논문의 주요 주제인 디퓨전 언어 모델이 올해부터 이론 단계에서 시험 모델로 등장하고 있는 단계여서 향후 2~3년 후의 시장 경쟁력을 선점한다는데 의의를 둔 논문이라 할 수 있다.

LLM 추론을 정량적으로 분석할 수 있는 ‘Rejump’ 방법론 제시

최근 대형언어모델은 수학, 코딩 등 복잡한 문제를 해결하기 위해 길고 상세한 사고 과정을 생성하도록 훈련됐다. 다만 같은 질문을 던져서 동일한 정답을 받더라도 그 결과를 도출하는 추론 과정은 상이할 수 있는데, 현재 기술에서는 LLM의 추론 과정을 정량적으로 측정하거나 비교할 수 있는 방법론이 없어서 LLM 추론 과정을 깊이있게 분석할 수 없다. 실제로 현재 AI의 성능을 판단하는 벤치마크들 역시 결과의 정답률을 비교하는 것이지 이를 도출하기 위한 풀이 과정의 정확성이나 그 과정 자체를 평가하진 않는다.

본 논문에서는 LLM의 추론 과정을 정량적으로 분석할 수 있도록 ‘트리-점프’라는 표현을 제안한다. LLM의 추론 과정은 순차적으로만 진행되는 게 아니라 인접한 단계로 이동하거나, 멀리 떨어진 과정으로 다시 되돌아가 계산이 맞았는지 검증하는 비인접 도약 등도 발생한다. 이 과정에서 새로운 경로를 얼마나 찾고 깊게 파고들었는지, 정답을 찾은 뒤에도 불필요하게 추론을 이어나가진 않았는지, 중요한 단서나 과정을 까먹진 않았는지, 추론 과정을 스스로 점검했는지 등을 정량적 분석 지표로 삼는 것이 핵심이다.

최근 LLM은 대화형 AI를 넘어 복잡한 업무를 수행하는 AI 에이전트로 그 역할이 확장됐다. GPU와 NPU 등 AI 가속기도 LLM을 더 잘 처리하고 전력 효율을 높여서 처리하도록 발전하고 있다. 논문에 제시된 방법론으로 LLM 추론의 패턴을 분석하면 AI 가속기에서 LLM 추론 효율성을 더 높이는데 기여하고, LLM의 복잡한 추론 과정을 이해하는데도 도움을 줄 것으로 보인다.

하드웨어 넘어 소프트웨어 강조하는 AI 반도체, ‘연구 실적’은 곧 성적표

쉽게 정리하자면 AsyncOPD는 추론이 많이 개입하는 정책 기반 증류 작업에 대한 이론적 분석과 비동기 처리를 도입해 효율성을 증대한다. EfficientRollout은 추론이 많이 개입하는 사후 훈련 작업에서 시스템 인식 자기 추측 디코딩을 통해 추론 병목을 해소하는 내용이다. LoSA는 차세대 언어 모델의 형태인 디퓨전 언어 모델에 대해 연구하고 향후 효율적으로 운용할 수 있는 방안을 담고 있다. 마지막으로 ReJump는 LLM 추론 과정을 면밀하게 분석하고 이론적으로 정립했다는 데 의의가 있다.

강원준 퓨리오사AI 알고리즘 팀 리서치 리더는 “EfficientRollout과 AsyncOPD는 퓨리오사AI가 주도한 사후학습 연구라는 점에서 의미가 있다. 지도 학습으로 이뤄지는 사전학습과 달리 사후학습은 추론 기반 생성이 지속적으로 얽혀 들어가고 있으며, 이런 발전 단계는 매개변수를 지속 업데이트하는 역전파(backpropagation) 방식보다 더 병목을 일으킨다는 것이 정론이다. 퓨리오사AI의 알고리즘 팀은 학계 전반의 시선을 추적하고, 퓨리오사AI의 추론 전용 반도체가 성능과 효율 면에서 이상적으로 구현될 수 있도록 저변을 확대하고 있다"라고 말했다.

오늘날 AI 반도체의 경쟁력은 하드웨어의 성능만으로 결정되지 않으며, 이를 완성하는 것은 소프트웨어에 달렸다. 소프트웨어는 제작된 하드웨어의 성능과 효율을 극한으로 최적화하고, 기존의 산업 생태계에서 안정적으로 제품이 동작하고 활용되도록 조율하는 작업이다. 알고리즘 팀은 여기서 더 나아가 미래 AI 반도체의 추세를 확인해 설계 단계에 반영하고, 회사의 기술을 대내외에 알림으로써 신뢰를 더하는 작업을 하고 있다. 실제로 퓨리오사AI가 RNGD를 발표했을 초기에는 하드웨어 자체에 대한 관심도가 높았지만 최근에는 이를 기반으로한 소프트웨어 개발과 진행 중인 연구 작업에 시장의 관심이 뜨거운 것도 이런 노력들에서 기인했다.

퓨리오사AI는 시장의 눈높이와 신뢰를 확보하기 위해 지난 2년간 ICML, ACL(계산언어학학회), NeurIPS, EACL(계산언어학학회 유럽지부), ICLR 등을 참가했으며, 다른 주요 학회인 EMNLP (자연어 처리 경험적 방법론 학회), NAACL(계산언어학학회 북미지부), CVPR(컴퓨터 비전 및 패턴 인식 학회), ICCV(국제 컴퓨터 비전 학회), ECCV(유럽 컴퓨터 비전 학회), COLM(언어 모델링 컨퍼런스) 등도 꾸준히 참가할 계획이다.

IT동아 남시현 기자 (sh@itdonga.com)