AI 추론(인퍼런스) 인프라 기업 베이스튼(Baseten)이 15억 달러(약 2조 3,000억 원) 규모의 시리즈F 투자를 유치했다고 6월 22일 밝혔다. 이번 라운드의 기업가치는 최대 130억 달러(약 20조 원)로 평가됐다.

투자는 알티미터 캐피털, 컨빅션, 스파크 캐피털이 공동 주도했고 샌즈 캐피털과 웰링턴 매니지먼트도 공동 리드로 참여했다. IVP, 그레이록, 배터리 벤처스, D.E.쇼 벤처스 등 다수의 기존·신규 투자자가 이름을 올렸다. 라운드는 130억 달러와 110억 달러, 두 개 트랜치로 구성됐다.

베이스튼의 기업가치는 올해 1월 시리즈E(50억 달러) 이후 5개월도 안 돼 160% 올랐다. 매출은 전년 대비 약 20배 늘었고, 플랫폼은 전 세계 87개 클러스터에서 하루 10억 건이 넘는 추론 호출을 처리한다. 누적 투자금은 20억 달러를 웃돈다.

모델을 ‘학습’시키는 단계의 경쟁이 일단락되자, 만들어진 모델을 실제 서비스에서 빠르고 싸게 ‘돌리는’ 추론 단계로 무게중심이 옮겨가고 있다. 기업이 AI 비용을 따지기 시작한 ‘효율성’ 국면에서, 추론을 얼마나 저렴하고 안정적으로 처리하느냐가 곧 수익성을 좌우하기 때문이다.

모델을 한 번 학습시키는 비용은 거대하지만 일회성인 반면, 학습된 모델을 수억 명이 매일 호출하는 추론 비용은 사용량이 늘수록 계속 불어난다. 베이스튼이 하루 10억 건의 호출을 87개 클러스터로 분산 처리하며 매출을 20배로 키운 것도 이 지점을 파고든 결과다.

베이스튼은 2019년 설립된 회사로, 자체 GPU를 두는 대신 여러 클라우드의 연산 자원을 묶어 쓰는 방식으로 공급 제약과 장애를 피한다. 모듈식 에이전트 워크플로로 구성 요소를 따로따로 확장할 수 있어, 복잡한 기업용 AI 시스템을 안정적으로 운영하는 것이 강점이다. 엔비디아 GPU 공급이 빠듯한 가운데, 여러 클라우드를 묶어 추론을 안정적으로 처리하는 역량은 곧장 경쟁력으로 이어진다.

토큰 단가 인하와 오픈웨이트 확산으로 ‘싸게 잘 돌리는’ 인프라의 값어치가 커지면서, 추론 최적화·서빙 전문 역량이 새로운 승부처로 떠올랐다. 모델을 직접 만들지 않고도 ‘추론 레이어’에서 사업 기회를 노리는 기업이 늘고 있다. 베이스튼의 폭발적 성장은 그 시장이 이미 본격적으로 열렸음을 말해 준다. 추론은 한 번 자리를 잡으면 사용량이 늘수록 매출이 불어나는 구조여서, 학습용 반도체에 쏠렸던 투자 열기가 이제 ‘쓰는 단계’로 빠르게 옮겨가고 있다.

자세한 내용은 Baseten에서 확인할 수 있다.

이미지 출처: AI 생성