AI 반도체 기업 세레브라스가 AI 추론 작업을 GPU와 자사 시스템에 나눠 맡기는 ‘분리 추론(disaggregated inference)’ 서비스를 현지 시각 11월 17일 공식 블로그를 통해 공개했다. 질문(프롬프트)을 읽고 처리하는 ‘프리필’ 단계는 GPU가, 답변 토큰을 차례로 생성하는 ‘디코드’ 단계는 세레브라스 시스템이 맡는다. 프리필은 입력 전체를 한꺼번에 계산하는 단계이고, 디코드는 답변 토큰을 하나씩 순서대로 생성하는 단계다. 세레브라스는 이 방식이 기존과 같은 초고속 생성 속도에서 메가와트당 5배 많은 토큰을 처리한다고 밝혔다.
세레브라스에 따르면, 실제 서비스 배치에서는 AMD 인스팅트 GPU가 프롬프트를 처리하고 세레브라스 CS-3 시스템이 답변을 생성했다. 이 구성은 CS-3만 쓴 구성보다 메가와트당 처리량이 5배 높았고, 토큰 생성 속도는 떨어지지 않았다. 처리량 비교는 11월 14일 공유된 오픈AI의 공개 가중치 모델 GPT-OSS-120B 엔드포인트를 기준으로 했다. CS-3는 웨이퍼 한 장을 칩 하나로 쓰는 세레브라스의 웨이퍼 스케일 엔진 기반 시스템이다.
세레브라스는 프리필과 디코드를 모두 세레브라스가 관리하는 통합 방식과, 디코드만 세레브라스 시스템에 맡기는 개발 도구(SDK) 방식을 함께 제공한다. 프리필과 디코드 사이의 중간 계산 결과(KV 캐시)는 ‘KV 포털’ 기술을 이용해 고속 네트워크 전송 방식(RDMA)으로 전달한다. KV 캐시는 모델이 앞서 계산한 값을 저장해 두는 데이터로, 디코드 단계에서 다시 활용된다. 고객은 기존 GPU 설비를 유지하면서 디코드 작업만 세레브라스 시스템에 배정할 수 있다.
세레브라스는 2027년 말까지 자사 추론 클라우드와 협력사 배치를 합쳐 수백 메가와트 규모로 분리 추론을 확대할 계획이다. 초기 이용 협력사로는 아마존웹서비스(AWS), AI 모델 추론 클라우드 기업 파이어웍스 AI, 김릿 랩스, 제너럴 컴퓨트가 참여한다. 세레브라스는 분리 추론을 자사 추론 클라우드 고객과 협력사의 자체 데이터센터 배치에 모두 적용할 계획이라고 설명했다.
자세한 내용은 세레브라스에서 확인할 수 있다.
이미지 출처: 세레브라스
AI Matters 뉴스레터 구독하기



