[IT동아 강형석 기자] 생성형 인공지능(AI)과 대규모 언어 모델이 촉발한 기술 혁명에 새로운 바람이 불었다. 거대한 연산 능력을 무한정 쏟아붓던 양적 팽창 시대를 지나, 하드웨어와 소프트웨어를 유기적으로 결합하는 질적 도약을 추구하기 시작한 것이다. 칩의 개수를 늘리는 물리적 방식만으로는 초대형 데이터센터가 요구하는 막대한 전력 수요를 감당하기 어렵다는 공감대가 널리 형성된 까닭이다.

AI 흐름을 주도하는 기업 중 하나로 엔비디아를 꼽는다. 그래픽 처리장치(GPU)로 시작한 엔비디아는 어느새 AI 생태계의 설계자로 도약했다. 하드웨어, 학습 프레임워크, 개방형(오픈소스) 모델, 합성 데이터 세트(데이터 모음), 추론 환경까지 AI 개발의 전 과정에 관여했다. 엔비디아의 움직임에 AI 업계가 관심을 기울이는 이유다.

2026년 4월 22일, AI 시장의 관심은 서울대학교에 집중됐다. 브라이언 카탄자로(Bryan Catanzaro) 엔비디아 응용 딥러닝 연구 부문 부사장이 강연에 나섰기 때문이다. 그는 AI로 구축된 거대한 생태계가 나아가야 할 방향을 다뤘다. 엔비디아의 개방형 AI 모델, 네모트론(Nemotron) 3도 함께 소개했다.

브라이언 카탄자로 부사장은 UC 버클리에서 전기공학·컴퓨터과학 박사 학위를 받은 연구자다. 엔비디아 cuDNN 라이브러리 개발을 이끌었고, 딥러닝 기반 그래픽 업스케일링 기술인 DLSS(Deep Learning Super Sampling) 2.0 개발에도 기여했다.

"GPU만으로 부족하다" 가속 컴퓨팅 재정의의 필요성

브라이언 카탄자로 부사장은 '가속 컴퓨팅(Accelerated Computing)'이라는 개념을 확장해야 할 시기라고 언급했다. 가속 컴퓨팅은 반도체 칩에만 국한된 게 아니라, 데이터 세트와 알고리듬까지 폭넓게 품어야 한다는 이야기다.

엔비디아의 사례를 예로 들었다. 흔히 엔비디아를 반도체 기업이라고 말한다. 호퍼(H100), 블랙웰(B200) 등 GPU가 AI의 핵심 하드웨어로 떠오르면서 엔비디아의 정체성을 '반도체 기업'으로 보는 시각이 많다. 하지만 엔비디아는 데이터와 알고리듬 생태계 구축에도 힘을 쏟아왔다.

브라이언 카탄자로 부사장은 엔비디아가 AI 모델 사전 학습에 사용하는 데이터 세트를 개선한 결과, 동일한 하드웨어와 소프트웨어 환경에서도 연간 약 4배의 학습 속도 향상을 달성했다고 설명했다. 18개월마다 2배 성능 향상을 약속했던 무어의 법칙은 사실상 끝났지만, 데이터 세트와 알고리듬의 개선만으로 그보다 훨씬 빠른 속도의 발전이 가능하다는 뜻이다.

핵심은 '데이터의 품질'이다. 네트워크에 등록된 정보는 저마다 가치가 다르다. 방대한 네트워크 데이터를 걸러내고, 신경망 학습에 실질적으로 도움이 되는 데이터만 추출하는 과정 자체가 하나의 가속 기술이 된다는 게 브라이언 카탄자로 부사장의 설명이다.

알고리듬도 마찬가지다. 브라이언 카탄자로 부사장은 강연 중 PivotRL이라는 사후 트레이닝(포스트 트레이닝) 알고리듬을 언급했다. PivotRL은 기존 훈련 방식보다 약 5.5배 빠른 속도로 동일 수준의 성능을 낸다. 적은 연산으로 AI를 더 고도화한다는 목표를 달성한 셈이다.

그는 동일한 결과물을 내놓더라도 1만 개의 토큰을 소비하는 언어 모델과 1000개의 토큰만 사용하는 언어 모델을 비교하면, 후자가 소요 시간과 효율성 면에서 10배 앞선다고 강조했다.

AI 생태계 가치를 만들어 줄 '네모트론'

엔비디아는 개방형 AI 모델, 네모트론(Nemotron)을 개발했다. 꾸준히 성능과 효율을 개선하며 최근 3세대 모델까지 선보였다. 네모트론은 빠르고 효율적인 모델이 곧 똑똑한 모델이라는 목표 아래, 시스템이 최대 부하 상태로 구동될 때 최고의 지능을 발휘하도록 설계했다. 하드웨어의 특성을 이해하고, 목표 기기에 맞춰 처음부터 모델을 함께 디자인하는 공동 설계(Co-design) 방식을 썼기에 가능했다는 게 브라이언 카탄자로 부사장의 설명이다.

네모트론에는 두 가지 목적이 담겼다. 하나는 엔비디아 내부의 AI 문제를 해결하는 것, 다른 하나는 외부 AI 생태계를 가속화하는 것이다. 하드웨어·소프트웨어 시스템 구축에 필요한 길을 개척하고, 그에 맞는 개방형 AI 모델을 앞세우는 전략이다.

네모트론 3 모델은 매개변수(파라미터) 수에 따라 나노(Nano), 슈퍼(Super), 울트라(Ultra) 등으로 나뉜다. 아울러 개발자들이 다중 에이전트 시스템을 대규모로 구축·배포하도록 설계된 하이브리드 레이턴트 혼합 전문가(Hybrid Latent MoE) 모델도 도입했다.

하이브리드 레이턴트 혼합 전문가 모델을 도입한 이유는 이렇다. AI의 근간을 이루는 트랜스포머(Transformer) 구조는 전체 시퀀스(처리 순서) 안에서 특정 토큰에 동적으로 대응하는 '어텐션(Attention)' 기술을 바탕으로 작동한다. 어텐션 구조는 강력하지만, 시퀀스 길이가 길어질수록 연산량이 기하급수적으로 늘어나는 이차(Quadratic) 복잡도를 지녀 컴퓨팅 비용 부담이 커진다.

반면, 상태 공간 모델(State Space Models, SSM)은 시퀀스 길이가 늘어나도 연산 시간이 선형적으로만 증가하는 데 그친다. 엔비디아는 두 기술을 융합하면 순수 트랜스포머 모델보다 검증 손실(Validation loss)이 훨씬 낮아지며 계산 효율성을 확보할 것으로 내다봤다.

잠재적 MoE(Latent MoE) 기법도 추가했다. 여러 GPU에 전문가(Expert) 모델들을 분산시켜 놓으면 토큰을 주고받는 과정에서 통신 병목 현상이 생긴다. 이를 해결하기 위해 데이터를 다른 곳으로 전송하기 직전에 차원을 축소(Down-project)하고, 전문가 처리를 마친 뒤 다시 원래 차원으로 복구하는 방식을 고안했다.

다중 토큰 예측(Multi-token prediction) 기술도 언급됐다. 거대 언어 모델은 한 번에 하나의 토큰만 생성하므로 메모리 대역폭의 물리적 한계에 부딪히기 쉽다. 반대로 한 번에 여러 개의 토큰을 예측하도록 설계하면, 대기 상태인 수학 연산 장치들을 알차게 활용해 비용 증가 없이 속도를 3배가량 높여준다는 게 브라이언 카탄자로 부사장의 설명이다.

'AI는 아직 해결된 문제가 아니다' 새 아이디어 절실

브라이언 카탄자로 부사장은 엔비디아가 글로벌 기술 기업으로서 거대 모델 하나를 유행처럼 찍어내는 조직이 아니라, 지능형 모델을 빚어내는 정교한 기법(Techniques)과 과정 자체를 끊임없이 연구하는 집단이라는 점을 거듭 강조했다. 자사만의 폐쇄적인 이익을 추구하기보다, 피땀 흘려 이룬 기술적 성취를 투명하게 개방해 모두가 활용하는 건강한 생태계를 지향한다는 이야기다.

"AI를 연구하며 하이브리드 SSM 구조를 발견한 것도, 스케일링 법칙의 중요성을 깨달은 것도, 학계가 쌓아온 연구의 결과다. 우리는 여전히 해결하지 못한 수많은 문제를 안고 있고, 새로운 아이디어가 절실하다. AI는 아직 해결된 문제가 아니다. 학계와 지속적으로 대화하고 협업하며 어려움을 극복해 나가겠다."

엔비디아가 AI 모델 기술의 세부 사항을 공개하고 논문을 발표하는 것은 홍보 활동이 아니라, 학계와의 지속적인 대화이자 협업의 일환이라고 브라이언 카탄자로 부사장은 설명했다. 강연 말미에는 학계와 대학 단위 연구자들이 제안하는 아이디어에 감사를 표하기도 했다.

강연이 마무리된 후 진행된 질의응답 시간은 현장의 지적 열기를 엿보기에 충분했다. 첫 번째 질의자는 하이브리드 SSM 구조에 대해 물었다. 순수한 트랜스포머 모델이 더 나은 성능을 낼 것이라는 보편적인 예측을 뒤엎고, 어떻게 하이브리드 모델이 더 뛰어난 결과치를 획득했는지 궁금해했다.

이에 브라이언 카탄자로 부사장은 "상태 공간 모델은 시퀀스 전체의 맥락을 반복적으로 갱신하며 일정한 상숫값 안에 고밀도로 압축해 넣는다"고 답했다. 다만 SSM은 특정 토큰을 정밀하게 찾아내는 능력이 약하므로, 부족한 점을 풀 어텐션 레이어(시퀀스의 모든 토큰이 서로 참조해 문맥 파악)가 보완한다고 덧붙였다. 이렇게 구현된 하이브리드 모델이 두 방식보다 뛰어난 성능을 낸다는 설명이다.

이어진 질문에서는 엔비디아조차 컴퓨팅이 부족하다고 말하는데, 대학 연구실이 경쟁력을 갖추기 위한 연구 영역이 무엇인지를 물었다. 브라이언 카탄자로 부사장은 대학의 강점은 대규모 산업적 생산이 아니라 새롭고 놀라운 아이디어라고 말했다. 기계공학과 교수가 현대자동차나 토요타와 경쟁해 엔진을 만들려 하지 않듯, 컴퓨터 과학자도 세계 최대 AI 기업의 기술과 직접 경쟁할 필요가 없다는 것이다.

그는 엔비디아 내부에서도 스케일링 래더(Scaling Ladder)를 활용한다고 소개했다. 유망한 아이디어를 단계적으로 규모를 키워가며 검증하는 방식이다. 아이디어의 가능성을 먼저 작은 규모에서 입증하는 게 학계의 역할이고, 엔비디아 같은 기업이 더 큰 규모로 확장하는 식이다. 브라이언 카탄자로 부사장은 "수천 가지 아이디어의 조합이 가장 강력한 AI를 만들어낸다. 하지만 학계는 개별 아이디어를 바탕으로 문제를 파고들고, 이론적 근거를 쌓는 일에 집중해야 한다"고 조언했다.

스케일링 법칙에 대한 질문도 나왔다. 스케일링 법칙은 투자 규모를 확대할수록 AI 성능이 좋아진다는 논리다. 이에 브라이언 카탄자로 부사장은 자신이 스케일링 법칙의 창시자는 아니라면서도 오래전부터 큰 모델과 많은 데이터가 더 나은 결과를 가져올 것이라 믿어왔다고 고백했다. 다만 더 크면 더 좋다는 게 아니라, 규모에 맞춰 정량화해 미래 계획을 세우는 게 중요하다고 강조했다.

IT동아 강형석 기자 (redbk@itdonga.com)