AI 추론(인퍼런스) 전용 클라우드 기업 그로크(Groq)가 6월 22일 6억 5,000만 달러(약 1조 원) 규모의 신규 성장 투자를 유치했다고 발표했다. 디스럽티브와 인피니텀이 투자를 주도했고, 기존 투자자 다수가 다시 자금을 보탰다. 회사는 이 돈을 추론 클라우드 사업 확장에 쓴다.

이번 투자의 배경에는 엔비디아(NVIDIA)와의 거래가 있다. 그로크는 지난해 12월 엔비디아와 비독점 라이선스 계약을 맺었는데, 업계에서는 이를 ‘인수 아닌 인수(not-acqui-hire)’라고 불렀다. 약 200억 달러 규모로 그로크의 기술과 인력을 사실상 끌어안되 회사 자체는 독립적으로 남겨 둔 형태였다. 이 거래로 투자자들이 큰 차익을 거뒀고, 이 자금이 다시 이번 라운드로 유입된 것이다.

그로크는 자체 추론 칩(LPU)을 설계하던 회사에서 ‘추론 전용 클라우드(네오클라우드)’ 사업자로 변모하고 있다. 현재 북미·유럽·중동·아시아태평양에 13개 데이터센터를 운영하며, 500만 명이 넘는 개발자와 수천 개 AI 기업에 서비스를 제공한다. 매주 처리하는 토큰은 수조 개에 이른다. 마지막 기업가치는 지난해 9월 7억 5,000만 달러를 조달할 당시 69억 달러였다. 엔비디아와의 라이선스 거래 직후 일부 인력이 빠져나갔지만, 이번 투자로 채용을 다시 늘리며 조직을 재정비 중이다.

그로크의 강점은 속도다. 자체 설계한 LPU는 대규모 언어모델의 답변을 GPU보다 빠르게 내놓도록 만들어졌고, 챗봇이나 에이전트처럼 즉각적인 응답이 중요한 서비스에서 힘을 발휘한다. 추론 속도가 사용자 경험과 직결되는 만큼, 빠르고 값싼 추론을 무기로 시장을 파고들겠다는 전략이다.

모델을 학습시키는 경쟁이 일단락되자, 만들어진 모델을 빠르고 싸게 돌리는 추론 단계에서 새로운 승부가 벌어지고 있다. 그로크는 속도와 저비용을 앞세워 엔비디아 GPU가 장악한 추론 시장에 도전한다. 같은 주 추론 인프라 기업 베이스튼이 15억 달러를 유치한 것과 함께, 추론 계층으로 자본이 빠르게 모이고 있다.

자세한 내용은 Groq에서 확인할 수 있다.

이미지 출처: Groq