메타(Meta)가 라마(Llama) AI 모델 성능 향상을 위해 '해적판' 도서를 활용했다는 내부 문서가 법정에서 공개돼 화제가 되고 있다. 저작권 침해 소송에서 드러난 이 문서는 AI 연구자들의 큰 관심을 모으고 있다.

비즈니스 인사이더(Business Insider)가 16일(현지 시간) 보도한 내용에 따르면, 메타를 상대로 한 고액 소송에서 공개된 법정 문서에는 메타 연구진이 '절제(ablation)'라는 과정을 통해 어떤 데이터가 라마 AI 모델 향상에 도움이 되는지 판단한 방법이 상세히 기술되어 있다. 절제는 원래 뇌 기능 개선을 위해 조직을 의도적으로 파괴하는 의학 기술이다. AI 분야에서는 시스템의 일부를 제거하여 해당 구성 요소가 성능에 어떤 영향을 미치는지 연구하는 방법으로 활용된다. 메타의 절제 실험에서는 AI 훈련 데이터의 일부를 러시아의 대형 해적판 도서 데이터베이스인 '립젠(LibGen)'에서 가져온 책들로 대체했다. 이후 라마 모델을 재훈련시켜 결과에 어미난 영향을 미치는지 확인했다.

한 실험에서 메타는 과학·기술 서적과 소설책을 훈련 데이터에 추가했고, 두 번째 실험에서는 소설책만 추가했다.n내부 문서(18-19페이지)에 따르면, 두 실험 모두에서 라마의 성능이 업계 벤치마크에서 눈에 띄게 향상됐다. 사이먼 프레이저 대학교 컴퓨터 과학부 부교수인 닉 빈센트(Nick Vincent)는 "이는 메타가 특정 학습 데이터에 의미를 부여할 수 있는 능력을 갖추고 있음을 시사한다"고 말했다. 링크드인에 따르면, 한 메타 엔지니어는 라마 4와 이전 버전의 대형 AI 모델 개발 과정에서 100개 이상의 절제 실험을 수행했다고 한다.

메타는 이러한 실험 결과를 공개하지 않고 있으며, 다른 AI 기업들도 이 정보를 비밀로 유지하고 있다고 빈센트는 지적했다. 한 가지 가능한 이유는, 기술 거대 기업들이 어떤 훈련 데이터가 AI 모델에 도움이 되었는지 정확히 공개할 경우, 해당 정보의 창작자들이 보상을 요구할 수 있고 자신들이 받아야 할 금액을 계산할 수 있기 때문이다. 또한, 절제 실험 결과의 공개는 기술 산업계에서 진행 중인 심각한 저작권 소송에도 영향을 미칠 수 있다. 대표적인 사례가 '캐드리 대 메타(Kadrey v. Meta)' 소송이다.

이러한 소송에서 기술 대기업과 AI 스타트업들은 온라인에 게시된 자료를 기반으로 기계를 '훈련'하는 것은 저작권 침해가 아니라고 주장한다. 그러나 특정 콘텐츠의 가치를 결정하는 이런 내부 문서는 그들에게 불리하게 작용할 수 있다.

메타의 절제 실험은 세계를 이해하는 데 도움이 되는 방대한 데이터를 사용하는 학습의 첫 단계에 초점을 맞췄다. 예를 들어, 기계가 라마를 인식하도록 가르치려면 라마와 알파카의 차이점을 알 수 있도록 가능한 많은 사진을 보여줘야 한다. 메타의 첫 번째 절제 실험에서는 훈련 데이터에 과학, 기술, 소설 서적을 추가하자 업계 벤치마크인 BooIQ에서 라마의 성능이 4.5% 향상됐다. 소설책만 추가했을 때는 성능이 6% 향상됐다.

BoolQ는 AI 모델이 답변해야 하는 15,942개의 예/아니오 질문으로 구성된 테스트다. 더 많은 질문에 답할수록 성능이 더 좋아진다. 5%의 성능 향상은 거의 800개의 추가 질문에 정확히 답변한 것과 같다. 내부 문서에 따르면, 이러한 절제 실험에서 SIQA로 알려진 또 다른 테스트에서 성능 향상은 5.5%였다.

프린스턴 대학교 컴퓨터 과학 부교수인 피터 헨더슨(Peter Henderson)은 트위터에 이러한 성과를 보여주는 법정 문서의 여러 다이어그램을 게시했다. 약 5%의 성능 향상은 작아 보이지만, AI 경쟁에서는 모든 이점이 중요하다.

기사의 원문은 링크에서 확인할 수 있다.

이미지 출처: 메타

기사는 클로드와 챗gpt를 활용해 작성되었습니다.