현지 시각 8월 27일 구글 딥마인드가 비공개 프런티어급 AI 모델을 대상으로 한 세계 최초의 이중맹검(double-blind) 평가를 공개했다. 이중맹검은 평가자가 모델의 가중치를 볼 수 없고, 개발사도 평가자의 시험 문항을 볼 수 없도록 양쪽을 동시에 가린 방식이다. 가중치는 모델이 학습으로 얻은 수치 뭉치로 모델의 실체에 해당하고, 프런티어 모델은 성능 최전선에 있는 초대형 AI 모델을 가리킨다.

평가는 싱가포르 인공지능안전연구소(AISI)와 오픈마인드(OpenMined), AVERI, ML커먼즈(MLCommons)가 함께 진행했다. 평가 대상은 구글의 제미나이 플래시 라이트(Gemini Flash Lite) 모델이었고, 평가는 구글 클라우드 컨피덴셜 컴퓨팅의 컨피덴셜 스페이스(Confidential Space) 안에서 이뤄졌다. 평가 데이터와 모델이 각자 소유자에게만 남는다는 사실을 암호로 검증할 수 있는 구조다.

모델이 시험 문항을 미리 본 적이 있으면 점수가 부풀려지고 결과를 믿기 어려워진다. 벤치마크 오염이라 부르는 문제로, 벤치마크는 같은 조건에서 성능을 비교하려고 만든 표준 시험을 말한다. 딥마인드는 시험지를 미리 훔쳐본 학생의 만점에 비유했다. 그동안에도 무기록 정책과 계약상 안전장치로 외부 시험 문항을 비밀로 지켜 왔지만, 기술적·암호적 장치를 더한 것은 이번이 처음이다.

종전 방식에서는 둘 중 하나를 내줘야 했다. 평가자가 시험 문항을 넘기면 개발사가 문항을 미리 볼 위험이 있었고, 개발사가 모델 가중치를 넘기면 지식재산이 노출될 위험이 있었다. 이중맹검 평가는 양쪽 모두 넘기지 않아도 되게 만든 방식이다.

딥마인드는 사이버보안 평가나 정부 기관이 수행하는 민감한 평가에서 이 방식이 특히 필요하다고 설명했다. 독립 기관이 데이터 주권이나 보안을 훼손하지 않고도 첨단 모델을 검증할 수 있다는 것이다. 블로그 글은 윌리엄 아이작(William Isaac)과 솔 메싱(Sol Messing), 크리스티안 럼(Kristian Lum)이 함께 작성했으며, 방법론과 결과는 별도 기술 보고서로 공개됐다.

자세한 내용은 구글 딥마인드에서 확인할 수 있다.

이미지 출처: 구글 딥마인드