7일(현지 시간) 테크크런치에 따르면 메타(Meta)의 생성형 AI 부문 부사장 아흐마드 알다할(Ahmad Al-Dahle)은 최근 자사의 최신 AI 모델 'Llama 4' 시리즈가 벤치마크 점수를 인위적으로 높이기 위해 조작되었다는 루머를 전면 부인했다. 

알알다할 부사장은 SNS 플랫폼 X(구 트위터)를 통해 “메타가 라마4 매버릭과 라마4 스카우트 모델을 ‘테스트 세트(test sets)’에 학습시켰다는 주장은 전혀 사실이 아니다”라고 밝혔다. 

[출처 : 알다할 X계정]

‘테스트 세트(test sets)’는 인공지능(AI) 모델의 성능을 객관적으로 평가하기 위해 사용하는 일종의 데이터 집합이다. AI모델은 학습(training) 단계에서 예제를 보며 스스로 패턴을 배우는 과정을 거치며 이때는 '훈련 데이터(train set)’를 사용한다. 그리고 모델 훈련이 모두 끝난 후, 완전히 새로운 데이터로 실제 성능을 확인하는데 이때 쓰이는 데이터가 ‘테스트 세트(test set)’다. 

[출처 : DALL.E 생성]

테스트 세트는 훈련 때 사용되지 않았기 때문에, AI가 실제 환경에서 얼마나 잘 작동할지를 판단할 수 있는 가장 공정한 평가 기준이며 만약 모델이 테스트 세트까지 미리 보고 학습해버리면, 그건 일종의 컨닝이며 AI 성능 평가 결과는 신뢰할 수 없게 된다.

이번 논란은 주말 동안 X와 레딧(Reddit) 등 커뮤니티를 중심으로 퍼졌으며, 중국 소셜미디어에 올라온 한 익명의 게시글이 발단이 된 것으로 보인다. 해당 글 작성자는 메타의 벤치마크 방식에 반발해 퇴사했다고 주장했다.

[출처 : Yuchen Jin X계정]

Llama 4 매버릭과 스카우트가 일부 작업에서 낮은 성능을 보인다는 사용자 평가와 함께, 메타가 벤치마크 테스트(LM Arena)에서 더 나은 점수를 얻기 위해  아직 정식 출시되지 않은 실험적 버전의 매버릭을 사용한 점도 의혹을 키웠다. 실제로 연구자들은 공개 배포된 매버릭 모델과 LM Arena에서 작동 중인 모델 간 성능 차이를 지적해왔다.

이에 대해 알다할 부사장은 일부 사용자들이 클라우드 제공업체에 따라 모델 품질에 차이를 경험하고 있는 점을 인정하며, “모델을 준비되는 즉시 공개했기 때문에 모든 퍼블릭 구현 버전이 안정화되기까지는 며칠이 걸릴 수 있다”고 설명했다. 이어 “버그 수정과 파트너 온보딩 과정을 지속하고 있다”고 덧붙였다.

글 / 홍정민 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com