탈옥한 플레이스테이션5(PS5)에서 270억 파라미터 규모의 대형언어모델(LLM)을 구동한 사례가 공개됐다. 미국 IT 매체 와이시시에프테크는 현지 시각 10월 14일 레딧 로컬 LLM 커뮤니티에 올라온 프로젝트 ‘PS5LM’을 소개했다. 개발자들은 게임 콘솔의 그래픽처리장치(GPU)를 로컬 AI 서버로 활용했다.

PS5LM은 개발자 메르트 코바노프(Mert Cobanov)가 오픈소스 추론 엔진 라마.cpp를 PS5용으로 옮긴 프로젝트다. 초기 버전은 PS5의 중앙처리장치(CPU)에서 모델을 실행하는 방식이었으나, 사용할 수 있는 메모리가 약 6GB에 그쳤다. 이후 다른 개발자가 오픈소스 메사 RADV 드라이버로 벌칸 그래픽 API를 활용해 GPU에서 직접 돌아가는 버전을 개발했고, 사용 가능한 메모리를 약 11.4GB까지 확보했다.

성능은 모델 크기에 따라 달랐다. 알리바바의 큐원 3.8 270억 파라미터 모델은 2비트 수준으로 압축한 6.8GB 버전 기준 초당 약 20.9토큰을 생성했다. 이때 GPU 사용률은 100%, CPU 사용률은 2%였고, 6만 4,000토큰 길이의 맥락을 처리했다. 구글의 젬마 4 E4B는 초당 61토큰, 메타의 라마 3.2 30억 파라미터 모델은 초당 124토큰을 기록했다. 같은 270억 파라미터 모델을 CPU에서 디스크로 가중치를 불러오며 실행했을 때는 1분에 약 1토큰에 그쳤다.

구동 중 콘솔은 약 86W의 전력을 소비했고, 섭씨 54도 수준의 온도를 유지했다. PS5는 GDDR6 메모리 16GB를 CPU와 GPU, 시스템이 나눠 쓴다. 270억 파라미터 모델을 16비트 정밀도로 돌리려면 약 54GB가 필요해, PS5에서는 크게 압축한 모델이나 소형 모델만 실행할 수 있다.

다만 2비트 수준으로 압축하면 답변 품질과 추론 능력이 떨어진다. 270억 파라미터 모델의 프롬프트 처리 속도는 초당 35~50토큰이어서, 긴 프롬프트는 첫 답변까지 몇 분이 걸릴 수 있다. 실행하려면 펌웨어 7.00~13.60 버전의 PS5를 탈옥해야 하며, 이 경우 보증이 무효가 되고 온라인 이용이 제한될 수 있다. PS5LM은 소니와 무관한 비공식 프로젝트로, 소니는 이번 사례에 대해 입장을 밝히지 않았다.

자세한 내용은 와이시시에프테크(Wccftech)에서 확인할 수 있다.

이미지 출처: 소니 인터랙티브 엔터테인먼트