[IT동아 남시현 기자] AI 인프라용 링크 설루션 기술 기업 파네시아(Panmnesia)가 메타와 함께 연구한 ‘CXL 기반 스케일업 패브릭이 구현하는 단일 칩형 데이터센터 설계(One-Chip-Like Datacenter Design Enabled by CXL-Based Scale-Up Fabrics)’ 논문이 지난 8월 10일 네이처 포트폴리오가 발행하는 전기·전자 분야의 리뷰 전문 학술지 ‘네이처 리뷰 일렉트로니컬 엔지니어링(Nature Reviews Electrical Engineering)’에 게재됐다. 해당 논문은 네이처 리뷰 측의 초청을 받아 파네시아와 메타 연구진이 집필한 리뷰 아티클이다. 국내 학계 연구진이 네이처 리뷰에 리뷰 아티클을 게재한 사례는 앞서 있었지만, 국내 기업 연구진이 초청을 받아 집필에 참여한 사례는 매우 이례적이다.

하이퍼스케일로 커진 데이터센터, 대규모 병렬연결 기술적 한계 드러나

2010년대 이후 데이터센터 아키텍처는 자원을 필요에 따라 조합할 수 있는 형태로 구성했다. CPU와 GPU, 저장장치, NIC(네트워크 인터페이스 카드) 등이 각각 독립된 컴퓨터처럼 운용되고 이더넷, 인피니밴드 같은 네트워크로 연결되는 식이다. 이는 서버를 필요로 하는 다수의 사용자에게 장치별로 분배하기에는 좋은 구조지만 각 서버가 긴밀하게 연결되는 구조가 아니다. 과거에는 도메인을 운영하거나 개별 연산 등을 처리하기 위해 활용되었으니 큰 문제는 아니었다.

하지만 GPT 등장 이후 대규모 AI 학습, 추론 작업을 위해 수백에서 수천 개의 GPU를 병렬로 연결해서 하나의 장치처럼 활용하는 가속컴퓨팅이 대두되면서 기존의 데이터센터 통신 방식에서 한계가 드러났다. 단순 병렬화의 가장 큰 문제는 모든 장치가 동일한 속도로 가동되지 않아 느린 장치로 인한 지연이 발생하고, 장치마다 통신 속도의 편차도 발생한다. 실제 데이터센터에서는 왕복 레이턴시(입력 지연)의 99번째 백분위 값이 중앙값의 5배에 달해 전체 부하로 이어진다. 분산 운영을 전제로 해 느슨하게 결합되도록 구성한 서버 아키텍처가 단일 연산을 대규모로 처리하는 지금은 병목의 원인이 된 셈이다.

그래서 최근 AI 인프라는 네트워크로 연결된 서버 집합을 넘어서 하나의 컴퓨터처럼 동작시키는 스케일업 구조를 채택한다. 기존 방식이 GPU 서버와 NIC, 네트워크 스위치를 거친 뒤 다시 NIC을 통해 GPU로 연결되는 구조였다면, 현재는 GPU가 NV링크 스위치 혹은 UA링크 등으로 직접 다른 GPU 장치와 연결해 지연을 줄인다. 대표적으로 엔비디아의 GB200 NVL72가 이런 구조를 채택해 72개의 GPU가 하나의 장치처럼 동작한다. 하지만 이런 랙이 수십 개에서 수백 개씩 연결되면 전체 GPU 규모도 수천 개에서 수만 개가 되며 다시 지연과 통신 편차가 발생할 수밖에 없다. 따라서 구조적으로 완전한 해결책이 되진 못한다.

파네시아는 논문을 통해 데이터센터의 구조를 병렬연결을 넘어 단일 칩형(one-chip-like)으로 연결하는 방안을 제시한다. CXL(컴퓨트 익스프레스 링크)를 활용해 패브릭 내에서 메모리를 풀링 및 공유하고, 데이터가 지나는 경로에서 레이턴시의 원인을 하드웨어 수준에서 제어하는 것이다. 또한 각 장치 간 레이턴시를 더욱 줄이기 위해 광 링크, CXL-오버-옵틱스 같은 차세대 기술을 통해 단일 칩형 데이터센터의 확장 규모를 더욱 크게 가져가겠다는 것이다.

파네시아가 제안하는 전제는 CXL을 활용해 물리적으로 분리된 CPU, 가속기, 메모리가 공유 주소 공간과 하드웨어 관리 프로토콜을 바탕으로 상호작용하도록 하고, 이를 단일 칩에 가까운 실행 환경으로 구성한다. 이것이 대규모로 성립하려면 공유 구조에 맞춘 별도의 하드웨어 계층이 필요하다. 또한 스위치, 링크 수준 가속, 컨트롤러 조율이 칩 수준의 설계로 재구성되어야 한다.

이에 따라 데이터서버 아키텍처는 CXL을 중심 장치로 링크 수준 가속, 컨트롤러, 스위치를 엮어 단일 칩형 아키텍처로 구성한다. 특히 CXL 1.0 버전에는 CPU와 외부 장치 간의 메모리 접근을 가능하는 것으로 시작했고, 2.0부터 스위칭을 지원해 여러 장치가 하나의 공유 도메인을 쓸 수 있게 했다. 최신 버전인 3.0은 패브릭 연결 메모리, 통합 주소 공간, 피어 투 피어 접근을 통해 확장성이 좋아졌다. 차세대 버전인 CXL 4.0은 7세대 PCIe를 기반으로 데이터 속도를 초당 128 기가전송량과으로 늘렸고, 4개의 신호 재생성기를 지원해 채널 도달 범위를 확대했다.

다만 CXL은 장치를 많이 연결하는 데는 유리하지만 수많은 장치를 거대한 칩처럼 일정하게 동작하도록 만들어진 기술은 아니다. CXL은 메시, 드래곤플라이, 토러스 등 여러 네트워크 위상을 통해 CPU, GPU, 메모리, 가속기 등을 연동할 수 있지만 규모가 커지면 평균 지연시간이 늘어나거나, 데이터가 여러 스위치를 거치며 편차가 생길수 있다. 따라서 단일 칩처럼 동작하기 위해서는 별도의 조율 구조가 필요하다.

파네시아가 요구하는 하드웨어는 ▲팬아웃이 크고 비차단 형태의 스위치 ▲ 링크 가속 유닛 ▲ 패브릭 컨트롤러 세 가지다. 팬아웃이 크고 비차단 형태인 스위치는 랙 전체를 하나의 칩 내부 통신처럼 만들기 위한 시도다. 하나의 스위치에 가능한 많은 장치를 연결하면 장치가 통신하면서 발생하는 주소 변환인 ‘홉(Hop)’을 줄일 수 있고, 각 장치를 더욱 촘촘하게 상호연결할 수 있다. 또 비차단 동작을 통해 동시에 부하가 걸려도 유입과 유출 대역폭이 일정하게 유지돼 가속기가 내부에서 서로의 경로를 방해받지 않고 통신하게 된다.

링크 가속 유닛(LAU)은 CXL 패브릭이 중간 장치 하나를 통과하는 단계마다 반복되는 주소 변환, 패킷 앞에 붙어있는 전송 정보 처리, 요청의 상태와 응답을 추적하는 트랜잭션 관리, 출력 포트 선택 등의 작업을 처리하는 전용 하드웨어다. 소프트웨어와 펌웨어의 개입을 최소화해 통신당 지연시간 편차를 줄이고, 트래픽 상황에 따라 혼잡도를 동적으로 조정한다.

패브릭 컨트롤러는 시스템 전반에서 발생하는 메모리 접근, 데이터 요청 순서를 패브릭 전체 차원에서 조율하는 구조다. CXL은 단일 패브릭으로 최대 4096개의 식별자를 지원하며 연결된 장치들이 동시에 읽기 및 쓰기를 요청하면 패킷을 빠르게 전달하는 것만으로는 부족하다. 요청을 처리하는 우선순위와 패킷의 전달 여부, 오류 시 재전송 등등을 일관적으로 관리해야 한다. 패브릭 컨트롤러는 물리 장치, 링크, 트랜잭션 여러 계층에 걸쳐 작업을 조율한다.

파네시아는 CXL 기반의 단일 칩형을 개념 정리가 아닌 물리 설계 단위로 구현한 상황이다. 논문에 제시된 스위치 칩의 평면도에는 고팬아웃 스위치 제어 로직과 물리 계층, 패브릭 컨트롤러가 배치돼 있으며 별도 영역에 LAU와 다수의 패브릭 컨트롤러가 물리적으로 구현돼있다. 이를 통해 단일 칩형 패브릭을 구성하는 핵심 하드웨어 메커니즘이 추상적인 개념에 그치지 않고 실제 실리콘 설계에 반영될 수 있음을 보여준다. 다만 예측 가능한 실행은 연산 장치, 메모리, 스위칭 자원의 배치에 따라 바뀔 수 있어서 실제 구현에는 더 많은 연구 및 개발이 필요하다.

하드웨어를 기반으로 제안하는 ‘CXL 기반 단일 칩형 데이터센터’

파네시아가 제안하는 CXL 기반의 단일 칩형 데이터센터는 센터 내 하드웨어를 분산 운영한 개체의 집합이 아닌 하나의 거대한 칩 형태의 계층 구조로 본다. CPU, 가속기, 메모리, 스위치를 각각 CXL 트레이 단위로 나누고, 여러 트레이를 다시 포드(pod)로 묶는다. 칩 안에서 여러 기능의 블록을 하나의 타일로 구성하는 것과 비슷한 구조다. 각 포드는 내부에 각각 트레이끼리 통신하더라도 중간 장치를 거치는 단계인 홉이 같은 수를 거치도록 설계해 통신 경로와 지연 편차를 줄인다.

여러 포드는 다시 상위 계층의 CXL 스위치 패브릭으로 연결돼 다중 랙 규모로 확장된다. 이는 칩 안의 여러 타일을 글로벌 NoC(Network-on-Chip·칩 내부 네트워크)로 연결하는 방식과 유사하다. 포드 내부에서는 짧고 일정한 경로를 유지하고, 포드 사이에서는 메시(mesh), 토러스(torus), 링(ring) 같은 네트워크 구조를 활용한다. 상위 스위치는 대역폭을 크게 설정해 하위 장치에서 통신 병목이 생기지 않도록 조치한다. 이 방식이 제대로 동작하려면 수천 개의 장치의 메모리 상태가 일관적으로 데이터 변경 사항을 공유하는 ‘코히런스 도메인’ 안에서 순서, 가시성, 전진 진행에 관한 일관된 실행 규칙을 따라야 한다.

이를 위해 각 장치별 요청과 응답, 데이터 채널을 분리하고, 사전에 정의된 라우팅 규칙으로 순환 의존성을 차단해 서로 자원을 기다리며 통신이 멈추는 데드락을 방지한다. 다양한 하드웨어 규칙성을 통해 데이터센터 내 랙들이 소프트웨어 처리 시간에 따라 지연 시간이 흔들리는 현상을 줄일 수 있다.

물리적인 배치도 중요하다. CXL 링크는 거리가 멀어질수록 신호나 입력지연 등이 발생할 수 있고, 수미터 수준에서 한계가 생긴다. 초당 128 기가전송량으로 동작하는 신호 재생성기를 활용해도 도달 범위는 최대 7미터 수준이다. 표준 레이아웃 기준으로는 랙 7개 수준이다. 이를 넘어서려면 광 연결이 필요하다. 또한 배선으로 인한 기류 흐름을 고려해 스위치를 랙 중앙 근처에 배치하고, 가속기와 CPU가 내는 열을 고려해 냉각과 전력 밀도도 조정해야 한다.

단일 칩형 CXL 데이터센터는 CPU, 가속기, 메모리 장치가 하나의 통합 메모리처럼 동작하며 CPU가 조율할 수 있는 자원 범위도 커진다. 기존의 구조에서는 CPU가 제어할 수 있는 가속기 수가 제한돼 있는데 논문에서는 보수적인 CXL 캐시 기반 조율을 가정해도 단일 CPU가 최대 16개의 가속기를 조율할 수 있다고 설명한다.

또한 네트워크를 기반으로 다른 서버의 메모리를 읽고 쓰는 RDMA 기술은 통상 마이크로초 수준의 변동이 발생하는데, CXL 패브릭에서는 순회 대칭과 하드웨어 기반 연결성을 갖춰 단일 홉 왕복 레이턴시를 수백 나노초 수준으로 유지한다. 아울러 트레이를 각각 독립적으로 교체할 수 있어 운영 중단을 줄이고, CXL 자체가 핫플러그, 런타임 자원 재구성을 지원해 서버 중단 없이 유지보수할 수 있다.

앞으로의 데이터센터 구조, 본질적인 변화 필요한 시점

파네시아가 제안하는 CXL 기반 단일 칩형 데이터 센터는 단순히 연결성을 확장하는 것이 아닌 새로운 데이터센터 규칙이다. 장치가 수십 개에서 수천 개로 늘어나도 패브릭을 통해 장비 전반이 제어되고, 각 장치들의 메모리가 일관적으로 공유되고, 메모리가 계층 형태로 설계되는 것이다. CXL은 아직까지 도달 범위나 신호 무결성, 케이블 밀도 등에 따른 제약이 있어 확장성에 한계가 있다. 결국 단일 칩형 데이터 센터의 규모를 키우려면 광학 방식의 연결성이 필요하다. 논문에서는 CXL-오버-옵틱스, 공동 패키징 광학, 광학 백플레인 등의 기술을 활용하면 확장 시 재설계 없이 규모를 키울 수 있다고 제시한다.

해당 논문은 오늘날 AI 인프라 경쟁의 기준이 지금처럼 개별 GPU에서 그치지 않고, 데이터센터 전체 규모와 통합 안정성으로 발전할 수 있음을 보여준다. 실제 상용화에 이르려면 대규모 실증과 도달 범위를 확장하는데 필요한 광 인터커넥트, 새로운 표준화 및 운영 소프트웨어 등이 과제로 남는다.

한편 학계에서는 미래 데이터센터 구조를 바꾸자는 제안이 계속되고 있다. 엔비디아, AMD 등의 기존 사업자들은 NV링크, UA링크 등 고속 인터커넥트를 통해 랙 또는 포드를 강하게 결합하는 도메인으로 묶는 스케일업 아키텍처를 강하게 지지하고 있지만, 마이크로소프트는 GPU와 메모리를 랙 단위가 아닌 메모리가 공유되는 컴퓨트 모듈 기반의 ‘분리형 AI 데이터센터’를 제시했다. 메타 역시 기존의 네트워크 섀시를 키우는 대신 라인 카드와 패브릭 카드를 분리해 하나의 거대한 분산형 패브릭으로 구성하는 메타 DSF(분산형 스케줄링 패브릭) 기술을 개발 중이다.

마벨은 메모리 공유를 넘어 포드 레벨에서 광학적으로 메모리를 공유하는 방식을 제시했으며, 프로그래머블 포토닉스 기술을 개발 중인 아이프로닉스는 기존의 구리 기반 스케일업을 넘어 광자 기술을 활용해 AI 데이터센터 자체가 프로그래밍 가능한 광 시스템으로 진화할 것이라는 시각도 내놨다. 파네시아의 이번 논문은 전 세계 학계와 기업들이 차세대 데이터센터의 방향성을 제시하는 가운데 대한민국의 이름으로도 차세대 데이터센터 아키텍처와 설계 철학을 제시했다는 점에서 의의가 있다.

서로 제시하는 방향은 다르나 미래의 AI 인프라 경쟁의 다음 무대는 ‘어떤 가속기가 더 빠른가’를 넘어 ‘수많은 가속기를 얼마나 통합적으로 운영할 수 있는가’라는 개념은 본질적으로 동일하다. 파네시아의 이번 제안 역시 그 질문에 대한 하나의 답이 되며, 향후 CXL과 광 인터커넥트, 스케일업 패브릭을 둘러싼 데이터센터 아키텍처 경쟁이 본격화되는 시점에 더욱 주목을 받을 것으로 예상된다.

IT동아 남시현 기자 (sh@itdonga.com)