구글이 최신 오픈 AI 모델인 젬마(Gemma)3의 양자화 인식 학습(QAT) 버전을 출시했다. 이를 통해 일반 소비자용 GPU에서도 최첨단 AI 모델을 구동할 수 있게 되었다. 18일(현지 시간) 구글 개발자 블로그에 발표된 내용에 따르면, 젬마3의 양자화 인식 학습(Quantization-Aware Training, QAT) 최적화 버전은 성능은 유지하면서 메모리 요구사항을 대폭 줄였다. 이로 인해 NVIDIA RTX 3090과 같은 일반 GPU에서도 젬마3 27B 모델을 로컬에서 실행할 수 있게 되었다.

양자화는 AI 모델 매개변수의 정밀도를 줄이는 기술이다. BFloat16(16비트) 대신 int4(4비트)를 사용하면 데이터 크기가 4배 감소한다. 구글은 QAT 기술을 적용해 성능 저하를 최소화했다. 젬마3 모델의 VRAM 감소 효과는 매우 크다. 젬마3 27B 모델은 기존 54GB에서 14.1GB로, 젬마3 12B 모델은, 24GB에서 6.6GB로 감소했다. 또한 젬마3 4B 모델은 8GB에서 2.6GB로, 젬마3 1B 모델은 2GB에서 0.5GB로 크게 줄었다.

이러한 획기적인 최적화로 인해 다양한 기기에서 강력한 AI 모델 실행이 가능해졌다. 젬마3 27B 모델(int4)은 이제 데스크톱 NVIDIA RTX 3090(24GB VRAM)에서 편안하게 구동할 수 있다. 젬마3 12B 모델(int4)은 NVIDIA RTX 4060 노트북 GPU(8GB VRAM)와 같은 휴대용 기기에서 효율적으로 실행할 수 있게 되었다. 더 작은 4B와 1B 모델은 리소스가 제한된 시스템에서도 원활하게 사용할 수 있다.

구글은 다양한 개발 도구와 협력하여 젬마3 QAT 모델의 사용을 용이하게 했다. 올라마(Ollama)는 간단한 명령으로 모든 젬마3 QAT 모델을 기본적으로 지원한다. LM 스튜디오(LM Studio)는 사용자 친화적인 인터페이스를 통해 데스크톱에서 모델을 쉽게 다운로드하고 실행할 수 있게 한다. MLX는 Apple Silicon에서 최적화된 추론을 지원하며, Gemma.cpp와 llama.cpp는 효율적인 CPU 구현을 제공한다.

해당 업데이트에 대한 자세한 사항은 링크에서 확인할 수 있다.

이미지 출처: 구글 개발자 블로그

기사는 클로드와 챗gpt를 활용해 작성되었습니다.