일본 AI 스타트업 사카나 AI(Sakana AI) 연구진이 현지 시각 10월 8일 학술 논문 속 논리적 오류를 찾아내는 AI 심사 도구 ‘다층 검토(MLR)’를 공개했다. 학술지나 학회는 논문을 싣기 전 같은 분야 연구자에게 내용이 맞는지 심사를 맡기는데, 이를 동료 검토라고 한다. 연구진은 그동안 AI 심사 도구가 사람 심사위원과 얼마나 비슷한 평을 쓰는지로 평가받아 왔지만, 실제로 오류를 잘 찾는지가 더 중요하다고 설명했다.

연구진은 2024~2025년 주요 AI 학회(ACL, AISTATS, CVPR, ICML, NeurIPS)에 발표된 논문 257편에 일부러 앞뒤가 맞지 않는 내용 1,164개를 넣고, AI가 이를 얼마나 찾아내는지 시험했다. 넣은 오류는 논문의 핵심 주장과 얼마나 밀접한지에 따라 심각도를 구분했다.

MLR은 앤트로픽의 클로드 모델 여러 개가 역할을 나눠 논문을 읽는다. 한 모델은 부록의 실험 내용을 요약하고, 다른 모델은 인터넷에서 관련 연구를 찾아 비교하며, 마지막 모델이 본문을 세 차례에 걸쳐 꼼꼼히 읽고 장단점과 점수를 정리한다.

같은 논문을 네 번 심사하게 했을 때 MLR은 핵심 주장과 관련된 오류의 73.43%를 찾아냈고, 한 번만 심사했을 때는 60.79%를 찾았다. 기존 AI 심사 도구 중 성적이 가장 좋은 에이전트리뷰(AgentReview)는 14.81%에 그쳤다. 저자가 실제로 철회한 논문 211편에서는 오류를 정확히 찾은 비율이 16.11%로 낮아졌지만, 기존 도구의 최고치(9%)보다는 높았다. 심사 한 번에 드는 비용은 약 0.47달러(약 630원)다.

MLR은 연구 방법이 타당한지와 실험이 충분한지를 주로 따졌고, 사람 심사위원은 글이 명확한지와 연구가 새로운지를 더 중요하게 봤다. 연구진은 AI가 사람 심사위원을 대체하기보다 돕는 용도라고 밝혔다. 연구진에 따르면 논문에 사람 눈에 띄지 않게 숨겨 둔 지시문에는 시험한 AI 심사 도구가 모두 영향을 받았다.

자세한 내용은 arXiv에서 확인할 수 있다.

이미지 출처: 사카나 AI