삼성은 이달 초 업계 최초로 LPDDR5X-PIM 메모리를 공개하며 저전력 메모리 표준에 인메모리 로직을 추가했다. Hot Chips 2026에서 삼성은 이전에 HBM 스택을 통해 선보였던 메모리 기술에 대해 자세히 설명했다.

LPDDR5X에 인메모리 프로세싱을 추가하는 이유는 명확하다. HBM은 너무 비싸기 때문이다. 마이크론은 Hot Chips에서 HBM 웨이퍼 수요가 악화되고 있다고 경고했으며, 삼성은 AI 칩 비용의 대부분을 메모리가 차지하며 그 비중이 계속 증가하고 있다는 점을 강조했다. 여기에 DDR5, 특히 HBM의 전력 요구 사항을 고려하면 LPDDR5X는 PIM에 이상적인 목표로 보인다.

삼성은 LPDDR5X에 PIM을 통합하는 기본 레이아웃을 공개했다. 각 메모리 뱅크는 자체 PIM을 가지며, 이는 로직을 맞추기 위해 뱅크를 잘라야 했던 HBM-PIM보다 발전된 방식이다. 메모리 뱅크, 스케일 레지스터 파일, 소스 레지스터 파일은 병렬 MAC 트리에 데이터를 공급한다. 계산이 완료되면 출력(정수 또는 부동 소수점 출력)은 벡터 레지스터 파일에 기록된다.

삼성은 메모리 셀을 통해 데이터가 이동하고 계산이 수행되는 방식을 시연하기 위해 MAC(곱셈-누산) 연산의 예를 제공했다. 데이터에 대한 가중치 매개변수가 이미 셀에 기록되어 있고 메모리가 멀티 뱅크(PIM) 모드로 작동한다고 가정했다.

512바이트의 FP8 활성화 데이터는 먼저 16개의 256비트 패킷으로 분할되어 각 뱅크에 기록되고 소스 레지스터 파일에 기록된다. PIMX_RD는 DRAM 뱅크에서 가중치 데이터를 읽어 SRF의 데이터와 함께 MAC 트리에 공급한다. 계산이 완료되면 각 연산의 출력 벡터는 벡터 레지스터 파일에 기록된다.

계산이 완료되면 PIMX_WR 명령이 출력 데이터를 DRAM 뱅크로 다시 전송한다. 삼성은 읽기와 쓰기 사이에 1:1 관계가 필요하지 않지만, 이 예시에서는 유용하다고 언급했다. 1kbit의 VRF 크기로 최대 4개의 계산을 VRF에 기록할 수 있다.

출력이 메모리 뱅크에 다시 기록되면 호스트는 메모리에서 데이터를 읽기만 하면 된다. 호스트는 단일 뱅크(기존 DRAM) 모드로 전환하고 16번의 읽기를 실행하여 모든 메모리 뱅크에서 출력을 수집한다.

삼성의 LPDDR5X-PIM은 LPDDR5X와 유사하다. LPDDR5X와 동일하게 표준 561볼 어레이를 패키징에 사용하며, 삼성은 16GB 모듈에 두 개의 64비트 랭크를 사용한다. 여기서 중요한 수치는 대역폭이다. LPDDR5X-9600의 최대 대역폭은 76.8GB/s이지만, PIM을 통해 데이터 이동을 줄이고 기본 로직을 로컬에 유지함으로써 8배 증가한 614GB/s를 달성했다.

삼성의 예비 벤치마크에서 LPDDR5X-PIM은 인상적인 성능을 보였다. 모델 실행 시간에서 PIM은 2.28배 개선되었으며, 초당 토큰(TPS)에서는 PIM이 3.01배의 성능 향상을 제공했다.

위 슬라이드는 이러한 수치를 얻기 위해 어떤 과정이 있었는지 보여준다. 삼성은 엣지 AI 가속기(어떤 가속기인지는 불분명하지만, 초기 Gaia SoC일 가능성도 있다)를 사용하여 80억 개의 매개변수를 가진 Llama 3.1을 테스트했다. 주목할 점은 출력이 다르다는 것인데, 한 참석자가 삼성에 이에 대해 질문했다. 삼성은 정확도 향상을 위한 최적화가 진행 중이지만, 성능 이점은 동일하게 유지될 것으로 예상한다고 밝혔다.