테크크런치가 12일(현지 시간) 보도한 내용에 따르면, 일본 AI 스타트업 사카나(Sakana)가 'AI 과학자-v2(The AI Scientist-v2)'라는 시스템이 생성한 논문이 동료 평가를 통과했다고 발표했다. 그러나 이 성과는 여러 제한 사항이 있는 것으로 밝혀졌다. 사카나는 브리티시 컬럼비아 대학교(University of British Columbia)와 옥스퍼드 대학교(University of Oxford) 연구자들과 협력해 AI가 생성한 세 편의 논문을 AI 학회 ICLR 워크숍에 제출했다. 이 중 한 편이 동료 평가를 통과했으나, 사카나는 투명성을 위해 출판 전 즉시 논문을 철회했다. 테크크런치에 따르면, 'AI 과학자-v2'는 과학적 가설부터 실험, 코드, 데이터 분석, 시각화, 텍스트까지 "처음부터 끝까지" 생성했다고 한다.

그러나 이 성과에는 몇 가지 중요한 한계가 있다. 먼저 AI가 인용 오류를 범했다고 사카나가 직접 인정했다. 또한 논문이 초기 동료 평가 후 철회되어 더 엄격한 "메타 리뷰" 단계를 거치지 않았다. 학회 워크숍의 채택률이 본 학회보다 일반적으로 높다는 점도 주목할 만하다. 무엇보다 AI 생성 연구 중 어떤 것도 ICLR 본 학회 출판 기준을 통과하지 못했다는 사실이 중요하다.

알버타 대학교의 매튜 구즈디알(Matthew Guzdial) 교수는 "사카나 팀이 여러 생성물 중에서 논문을 선택했다는 것은 인간의 판단이 개입했음을 의미한다"고 지적했다. 킹스 칼리지 런던의 마이크 쿡(Mike Cook) 연구원은 새로운 워크숍은 종종 주니어 연구자들에 의해 검토되며, 실패에 대해 쓰는 것이 AI에게 더 쉬울 수 있다고 말했다.

사카나는 AI가 획기적인 과학적 연구를 생산할 수 있다고 주장하지 않았다. 이 실험의 목표는 "AI가 생성한 연구의 품질을 연구하고" "AI 생성 과학에 관한 규범의 시급한 필요성"을 강조하는 것이었다고 밝혔다. 회사는 앞으로 AI 기술이 단순히 동료 평가를 통과하는 것만을 목적으로 하여 과학적 동료 평가 프로세스의 의미를 훼손하지 않도록 연구 커뮤니티와 지속적으로 의견을 교환할 것이라고 강조했다.

해당 기사 원문은 링크에서 확인할 수 있다.

이미지출처: 사카나

기사는 클로드와 챗GPT를 활용해 작성되었습니다.