메타가 대규모 AI 클러스터용 데이터 전송 규격 메타RoCE(MetaRoCE)를 공개했다. 상용 이더넷 위에서 GPU 100만 개 규모까지 감당하는 것을 목표로 RDMA 전송 규약을 처음부터 다시 설계했다. RDMA는 CPU를 거치지 않고 장비끼리 메모리를 직접 주고받는 기술로, GPU 수천 대가 학습 결과를 맞추는 구간에서 속도를 좌우한다.

설계 원칙을 메타는 “패브릭은 패킷을 보고, NIC은 의도를 본다”는 문장으로 정리했다. 네트워크 장비에 몰려 있던 판단을 서버에 꽂는 네트워크 카드(NIC)로 옮겼다는 뜻이다.

메타RoCE는 패킷을 여러 경로에 나눠 보내고, 도착 순서가 뒤바뀌는 것을 비정상이 아니라 정상으로 처리한다. 순서를 맞추려고 따로 버퍼를 두지 않는다. 경로마다 다른 UDP 소스 포트를 부여해 여러 길을 동시에 쓴다.

혼잡이 생겼을 때 전체를 멈춰 세우는 PFC와 포즈 프레임은 쓰지 않는다. 대신 256비트 선택적 확인 비트벡터로 어떤 패킷이 사라졌는지 짚어 그것만 다시 보낸다. 혼잡 신호(ECN)를 받으면 보내는 쪽이 속도를 줄이고, 받는 쪽은 연결마다 몫을 나눠 준다.

메타RoCE를 쓰려면 네트워크가 ECN 마킹과 ECMP만 지원하면 된다. 기존 RDMA 인터페이스와 소프트웨어를 고치지 않아도 되도록 만들었다.

검증은 AMD 펜산도 프로그래머블 NIC에 구현해 64노드 AMD GPU 클러스터에서 진행했다. 집단 통신 라이브러리 RCCL의 올리듀스와 올투올 작업을 기존 RoCEv2와 비교했다. 패킷의 1%가 사라지는 조건에서 처리량의 약 86%를 유지했고, 10%가 사라져도 대역폭을 지켰다. 4개와 8개 플레인 구성, 동시 연결 4,000개까지 플레인 수에 비례해 선형으로 확장됐다.

메타는 2026년 10월 OCP 글로벌 서밋에서 사양과 DPDK 기반 소프트웨어 레퍼런스, 적합성 검증 프레임워크를 함께 공개할 계획이다. 자사 클러스터에 실제로 적용했는지와 상용 배포 시점은 밝히지 않았다.

자세한 내용은 메타 엔지니어링에서 확인할 수 있다.

이미지 출처: 메타