INT21은 '컴퓨팅을 개선하기 위해 컴퓨팅을 사용한다'는 자체 개선 인프라 스타트업으로, 소프트웨어에 초점을 맞춰 희소성이 높아지는 NVIDIA GPU 대신 AI 에이전트 스웜을 통해 Rust 코딩 언어로 맞춤형 추론 런타임을 설계하여 Fish Audio의 Drama 3 모델 속도를 획기적으로 높였다. INT21은 약 한 시간 만에 실행 가능한 추론 엔진을 구축했다.

INT21의 핵심 방법론은 '자체 개선 인프라'를 중심으로 전통적인 소프트웨어 엔지니어링 패러다임을 뒤집는다. 인간 엔지니어가 AI 모델을 실행하기 위해 코드를 힘들게 작성하는 대신, INT21은 AI 에이전트 스웜을 사용하여 해당 코드를 자율적으로 작성하고, 테스트하고, 최적화한다.

수천 개의 AI 에이전트를 동시에 오케스트레이션하는 클라우드 네이티브 플랫폼인 SwarmOS는 INT21의 핵심 기술이다. 이 에이전트들은 추론 런타임 구축에 전념하는 시스템인 추론 엔진 팩토리 내에서 작동한다. 추론 런타임은 AI 모델이 훈련된 후 실행되어 사용자 입력을 출력으로 변환하는 기본 소프트웨어 엔진이다. 이 추론 엔진은 모델 가중치를 하드웨어(GPU, TPU, CPU)에 로드하고 수학적 순방향 패스를 실행하여 토큰을 생성하며, 신경망을 실행하여 더 빠른 출력을 생성하는 속도와 효율성을 최적화한다.

INT21의 AI 에이전트 스웜은 올바른 소프트웨어 아키텍처를 추측하는 대신, 세 단계의 연속적인 루프를 통해 작동한다. INT21은 AI 모델을 처음부터 구축하거나 재훈련하지 않는다. 대신, 7가지 모델 유형에 걸쳐 20개 이상의 추론 엔진을 활용하여 AI 에이전트 스웜은 FP8 혼합 전문가(mixture-of-experts) 또는 선형 어텐션(linear attention)과 같은 특정 아키텍처에 효과적인 최적화 기술을 기억한다. INT21이 구축하는 모든 추론 엔진은 다음 엔진의 시작 기준선 역할을 하여 새로운 반복을 배포하는 데 걸리는 시간을 획기적으로 단축한다.

기본적으로 INT21의 워크플로우에서는 인간이 코드를 작성하지 않는다. 대신, 엔지니어는 제약 조건, 대상 하드웨어 및 승인 기준만 정의한다. 스웜을 목표물에 지정하면 에이전트가 성능 지표가 충족될 때까지 루프를 실행한다. Fish Audio의 Drama 3 모델에 대해 INT21은 AI 에이전트 스웜을 사용하여 약 60분 만에 맞춤형 추론 엔진을 설계했다.

INT21의 CEO이자 설립자인 Bing Xu는 Drama 3 모델에 대한 INT21의 작업에 대해 다음과 같이 설명했다. 그는 Drama 3에 대한 사전 액세스가 전혀 없었음에도 불구하고, INT21의 에이전트 스웜이 SGLang-Omni 프레임워크보다 뛰어난 런타임을 60분 만에 구축했다고 밝혔다. 이는 검증 루프가 닫혀 있기 때문에 가능했으며, 에이전트 스웜이 인간 전문가보다 AI 모델을 더 잘 이해했다고 평가했다. 과거에는 새로운 아키텍처를 효율적으로 실행하기 위해 수동 포팅에 몇 주가 걸렸지만, 이제는 반복적인 포팅 및 튜닝 작업이 에이전트 스웜의 몫이 되었다고 언급했다.

Drama 3 모델이 FP8 혼합 전문가, 코드북 다중 토큰 예측, 선형 어텐션이라는 세 가지 주요 난제를 제시했지만, INT21의 에이전트 스웜은 이러한 메커니즘 중 어느 것과도 씨름하지 않았다. 이는 다른 카테고리 모델의 기존 구성 요소 조합이었기 때문이다. INT21의 에이전트 스웜은 이미 이에 대한 사전 지식을 구축했으며, 성능을 지속적으로 개선하고 있다. 실제로 INT21의 에이전트 스웜은 Fish Audio의 이전 음성 모델인 S2 Pro를 포함하여 7가지 모델 유형에 걸쳐 20개 이상의 추론 엔진을 구축했다. 모델은 재훈련되지 않지만, 에이전트 스웜은 성공과 실패에 대한 운영 지식을 축적하며, 모든 엔진은 다음 엔진을 더 빠르게 만든다. 전반적으로 스웜은 인간 전문가보다 더 적극적이며, 엔지니어가 거의 시간을 할애하지 않는 수준의 세부 사항까지 스택을 더 깊이 탐색한다.

Python은 인간에게 친숙한 동적 언어이지만, 더 많은 CPU 시간을 소모하고 서비스 품질을 불안정하게 만든다. 더 큰 비용은 이를 중심으로 구축되는 것이다. CPU 오버헤드를 숨기기 위한 복잡한 스케줄링과 Python을 수용하기 위한 다중 프로세스 간 통신(IPC)은 Rust에서는 문제가 되지 않는다. 현대 추론 스택의 상당 부분은 Python을 보완하기 위해 존재한다. 전반적으로 시스템의 복잡성은 훨씬 낮고 더 안정적이다.

INT21은 SGLang-Omni의 38밀리초에 비해 15~24밀리초의 Time to First Audio(TTFA)를 달성했다. 20밀리초는 눈에 띄지 않는 것처럼 보이지만, 음성 에이전트의 응답 시간은 사용자 청취, 사고, 응답 등 여러 지연의 합계이기 때문에 중요하다. 더 큰 변화는 아키텍처적일 것이다. 미래의 음성 에이전트는 듣기, 추론, 말하기를 위해 별도의 모델을 연결하는 대신, 입력과 출력을 지속적으로 스트리밍하는 잠재 공간 추론을 갖춘 옴니 모델이어야 한다. 하나의 모델이 모든 작업을 수행할 때, 런타임은 사용자와 답변 사이에 존재하며, 하드웨어 한계에 더 가깝게 실행되어야 한다.

INT21의 SwarmOS는 구축하는 모든 엔진으로 더 빨라지기 때문에, AI가 실행 중에 자체 추론 엔진을 실시간으로 최적화하는 '자기 먹는 뱀' 시나리오에 얼마나 가까워졌는지에 대한 질문에 대해 Bing Xu는 다음과 같이 답했다. 초고속 추론의 경우 대부분의 모델이 하드웨어 한계에 접근하고 있으므로, 특정 모델과 칩에서의 이득은 평탄해질 것이다. 계속해서 복합적으로 증가하는 것은 새로운 하드웨어에 새로운 모델을 도입하는 데 걸리는 시간이다. 에이전트 스웜이 구축하는 각 엔진은 다음 엔진을 구축하는 데 걸리는 시간을 단축한다. Drama 3는 단 한 시간밖에 걸리지 않았으므로, 새로운 하드웨어에 새로운 모델을 도입하는 것이 곧 한 번의 시도로 가능해질 수 있다.

INT21은 두 개의 NVIDIA B200에서 이 벤치마크를 실행하여 오디오 1초당 GPU 시간을 37~39% 단축했다. Bing Xu는 추론이 확장됨에 따라 기업들이 소프트웨어 런타임을 개선해야 할 때 B200을 더 많이 구매하는 데 과도하게 지출하고 있는지에 대한 질문에 대해 다음과 같이 답했다. 오늘날 GPU 소프트웨어는 마땅히 갖춰야 할 품질보다 훨씬 낮은 수준으로 실행된다. Drama 3에서 동일한 두 개의 NVIDIA B200은 단일 스트림 벤치마크에서 59~63% 더 많은 오디오를 생성했다. 이는 하드웨어가 이미 가지고 있던 용량에서 음성 1초당 GPU 시간을 37~39% 절감한 것이다. B200을 더 많이 구매하는 것과 런타임을 개선하는 것은 직교한다. 하드웨어는 미래 수요에 대한 투자이며, 소프트웨어는 각 GPU가 얼마나 사용되는지를 결정한다. 과거에는 팀이 용량을 구매하고 그 주변의 소프트웨어를 수동으로 튜닝했다. 이제 에이전트 스웜은 새로운 모델과 하드웨어가 출시되는 속도만큼 빠르게 소프트웨어를 계속 개선한다.