메타가 현지 시각 10월 19일 공식 엔지니어링 블로그를 통해 미국 오하이오주 뉴올버니에 구축 중인 AI 슈퍼클러스터 ‘프로메테우스(Prometheus)’의 내부 구조를 공개했다. 슈퍼클러스터는 수많은 GPU를 연결해 하나의 거대한 컴퓨터처럼 AI 모델을 학습시키는 시설이다. 메타는 기가와트(GW)급 시설인 프로메테우스의 1단계 구축을 마쳤으며, 이 시설에서 최근 공개한 ‘뮤즈 원더’를 포함한 뮤즈 모델을 학습시켰다고 밝혔다.

현재 프로메테우스에서는 여러 건물에 분산된 GPU 수십만 개가 서로 연결돼 작동하며, 메타는 최종적으로 GPU 약 100만 개를 하나의 학습 작업에 함께 투입할 계획이다. 프로메테우스 부지는 약 2년 전까지 일반 웹 서비스용 데이터센터였다. 메타는 기존 데이터센터 건물과 AI 전용 건물, 빠르게 설치할 수 있는 임시 구조물을 함께 활용해 규모를 확대했다.

메타는 엔비디아 GB200 기반 서버 ‘카탈리나’와 GB300 기반 서버 ‘클레멘테’를 운영하고 있으며, 차세대 베라 루빈 기반 서버 ‘산 미겔’ 도입을 준비하고 있다. 메타는 산 미겔이 GB300 서버보다 전력 대비 성능이 10~20% 높을 것으로 예상했다. 산 미겔 랙 하나의 소비 전력은 170kW를 넘는다.

메타는 GPU 고장으로 학습 작업이 중단되는 횟수가 2025년 중반 대비 99% 감소했다고 밝혔다. 2025년 중반에는 GPU 8,000개당 하루 약 1,000회의 중단이 발생했다. 메타는 랙마다 GPU 72개 가운데 8개를 예비로 두고, 고장이 발생하면 예비 GPU로 바로 교체해 학습이 계속되도록 했다. 그 결과 뮤즈 원더 사전 학습에서 전체 GPU 가동 시간 가운데 실제 학습에 활용된 비율이 85%를 넘었다.

건물마다 GPU를 최대 2만 736개까지 연결하는 네트워크가 구축됐으며, 건물과 건물 사이는 2km부터 100km 이상 떨어진 거리까지 광케이블로 연결된다. 학습 중 급격한 전력 변동은 전력 상한 제어 소프트웨어와 배터리, 에너지 저장 장치로 관리한다.

메타는 프로메테우스에서 얻은 경험을 미국 루이지애나주에 건설 중인 슈퍼클러스터 ‘하이페리온’에 적용할 계획이다. 하이페리온에는 냉각수를 순환시켜 재사용하는 폐쇄형 액체 냉각 방식이 도입되며, 전력 회사 엔터지와 협력해 전력망에 연결된다.

자세한 내용은 메타 엔지니어링 블로그에서 확인할 수 있다.

▶︎ 관련 기사: 메타, 프론티어급 AI 모델 ‘뮤즈 원더’ 공개

이미지 출처: 메타