출처 : 구글 딥마인드 블로그

 9월 12일(현지시간) 구글 딥마인드가 자사 블로그를 통해 새로운 대규모 언어 모델(LLM) '볼트젬마(VaultGemma)를 공개했다. 이 모델은 처음부터 차등 개인정보 보호(Differential Privacy, 이하 DP) 기법으로 학습된 공개 모델로, 파라미터 수는 10억 개에 달한다.

 AI가 대중화됨에 따라 개인정보 보호를 기반으로 한 모델 개발은 필수 과제로 떠올랐다. DP는 학습 과정에서 데이터가 직접 노출되지 않도록 특정한 무작위 잡음을 추가하는 방식으로, 개인 정보가 모델에 원본 그대로 저장되는 것을 방지한다. 하지만 이 기법을 대규모 언어 모델에 적용할 경우 학습 안정성 저하, 대규모 배치 크기 필요, 높은 연산 비용 등 여러 가지 한계가 발생한다.

 연구팀은 모델 크기·배치 크기·학습 반복 수 등에 따른 성능 변화를 정량적으로 연구하여 특히 “노이즈-배치 비율(noise-batch ratio)”이라는 지표가 DP 학습 성능을 결정짓는 핵심 요인임을 확인했다. 이를 통해 주어진 연산·데이터·프라이버시 예산 내에서 최적의 학습 설정을 찾을 수 있는 기준을 찾아냈고 DP 환경에서는 대규모 모델보다 작은 모델을 더 큰 배치 크기로 학습하는 것이 효율적이라는 점이 드러났다. 

 연구팀은 모델이 학습 데이터의 특정 문장을 그대로 기억하지 않는지 검증했으며, 결과적으로 학습 데이터에 대한 직접적인 기억은 관찰되지 않았다.

 해당 모델은 10억 파라미터 규모로, 지금까지 공개된 DP 기반 모델 가운데 최대 크기를 자랑한다. 연구팀은 DP 학습의 핵심 기법인 '푸아송 샘플링'을 적용하면서 발생한 난제를 해결하기 위해 Scalable DP-SGD 방식을 도입, 효율적이면서도 강력한 개인정보 보호 성능을 확보했다.

실험 결과 '볼트젬마'의 최종 학습 손실은 연구팀이 예측한 값과 거의 일치해 이론적 모델의 타당성이 입증됐다. 

 또한 여러 표준 학술 벤치마크(HellaSwag, BoolQ, PIQA, SocialIQA, TriviaQA, ARC 등)에서 비(非)DP 모델과 비교했을 때, 약 5년 전 수준의 GPT-2 모델과 유사한 성능을 보였다. 

이는 여전히 성능 격차가 존재함을 시사하지만, 연구 성과가 그 격차를 줄여나가는 중요한 단계임을 의미한다.

 '볼트젬마'는 강력하면서도 개인정보 보호를 내재화한 AI 개발로 가는 과정에서 중요한 진전을 보여준다. 연구팀은 “DP 모델과 비DP 모델 간 성능 격차가 아직 존재하지만, 메커니즘 설계 연구를 통해 체계적으로 줄여갈 수 있다”며 “이번 모델과 연구가 차세대 안전하고 책임 있는 AI 개발의 토대가 될 것”이라고 밝혔다.

글 / 김지훈 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com