IBM과 투게더 AI가 엔비디아 HGX B300 시스템을 IBM 클라우드에 배치하는 다년 계약을 맺었다. 계약 규모는 2억 4,000만 달러(약 3,396억 원)이며 데이터센터다이내믹스가 현지 시각 8월 12일 보도했다.

이번 구축분은 IBM 클라우드에서 B300을 쓰는 첫 대규모 추론 클러스터다. 추론은 이미 학습을 마친 모델이 실제 이용자 요청을 받아 답을 만들어 내는 단계로, 모델을 만드는 학습과 구분된다. 시스템 사이 연결에는 엔비디아 스펙트럼-X 이더넷이 쓰이고, 이용 가능 시점은 2027년 1분기다.

투게더 AI 최고경영자 비풀 베드 프라카시는 “닫힌 모델의 가격을 치르지 않고도 최고 수준 프런티어 모델의 성능을 쓸 수 있게 된다”고 말했다. IBM 클라우드 총괄 앨런 피콕도 같은 발표문에서 의견을 밝혔다.

투게더 AI는 2022년 설립된 회사로 오픈웨이트 모델을 클라우드에서 실행해 주는 사업을 한다. 7월에 시리즈 C로 8억 달러(약 1조 1,320억 원)를 조달해 투자 후 기업가치 83억 달러를 인정받았고, 앞서 럼블과도 B300 다년 계약을 체결한 바 있다.

IBM 쪽에서 보면 이번 계약은 자체 클라우드에 최신 가속기를 들여오는 결정에 해당한다. IBM 클라우드는 아마존웹서비스나 마이크로소프트 애저, 구글 클라우드에 견줘 AI 워크로드 비중이 작았는데, 추론 수요가 커지자 외부 AI 사업자를 장기 고객으로 확보한 형태다.

자세한 내용은 데이터센터다이내믹스에서 확인할 수 있다.

이미지 출처: 엔비디아