삼성전자, D램 안에서 계산하는 LPDDR5X-PIM 공개…추론 속도 3배·대역폭 8배

2026.08.27. 12:20:30

110 1

삼성전자가 메모리 안에서 연산을 처리하는 저전력 D램 LPDDR5X-PIM의 검증 결과를 반도체 학회 핫칩스 2026에서 공개했다. PIM은 메모리 셀 옆에 작은 연산 회로를 배치해, 데이터를 프로세서로 보내지 않고 메모리 안에서 기본 계산을 끝내는 기술이다. 이달 초 제품을 처음 소개한 데 이어 이번에는 검증을 마친 실물 데이터를 제시했다.

삼성전자가 내놓은 예비 시험 결과에서 LPDDR5X-PIM은 기존 LPDDR5X보다 모델 실행 시간이 2.28배 빨랐고, 초당 처리하는 토큰 수는 3.01배 많았다. 토큰은 모델이 언어를 처리할 때 쓰는 최소 단위다. 시험은 엣지 AI 가속기에서 매개변수 80억 개의 라마 3.1 모델로 진행됐다.

LPDDR5X-9600의 최대 대역폭은 초당 76.8기가바이트인데, PIM 모드에서는 초당 614기가바이트로 8배가 된다. 데이터가 오가는 횟수를 줄이고 기본 연산을 메모리 안에서 끝낸 결과다. 뱅크마다 PIM 회로를 하나씩 두는 구조로, 뱅크를 줄여야 했던 HBM-PIM보다 진전된 방식이다.

패키지는 기존 LPDDR5X와 같은 561볼 규격을 쓴다. 기기 제조사가 시스템을 다시 설계하지 않고 그대로 바꿔 끼울 수 있다는 뜻이다.

삼성전자는 HBM 가격 상승을 이 기술의 배경으로 제시했다. HBM은 여러 층으로 쌓아 대역폭을 높인 고대역폭 메모리인데, AI 반도체 원가에서 메모리가 차지하는 비중이 계속 커지고 있다. 마이크론은 하루 전 같은 학회에서 HBM 웨이퍼 부담이 세대를 거듭할수록 커진다고 경고했다.

정확도는 아직 조정 중이다. 발표 현장에서 출력값이 기존과 다르다는 지적이 제기되자, 삼성전자는 정확도를 높이는 최적화가 진행 중이며 성능 이득은 유지될 것으로 본다고 답했다. 소비전력을 두고는 PIM이 순간적으로 끌어 쓰는 전력이 훨씬 높아지지만 데이터 이동이 줄어 전체 전력은 기존 D램보다 낮을 것으로 예상한다고 밝혔다. 삼성전자는 LPDDR6X-PIM도 준비하고 있으며, 표준화 기구 JEDEC에서 올해 안에 초기 규격을 확정하기를 기대한다고 덧붙였다.

자세한 내용은 톰스하드웨어에서 확인할 수 있다.

이미지 출처: 삼성전자

AI Matters 뉴스레터 구독하기