앤트로픽이 현지 시각 11월 5일 과학자들이 연구에 클로드를 어떻게 사용하는지 분석한 보고서 ‘과학적 발견을 위한 AI’를 공개했다. 앤트로픽은 8월 2일부터 9월 30일까지 소비자 요금제에서 진행된 연구 관련 대화 20만 7,049건을 분석하고 과학자 528명을 설문했다.

분석은 AI 분류기가 대화를 7,262개 연구 과제와 34개 학문 분야로 분류하는 방식으로 진행했다. 앤트로픽은 데이터셋, 가설, 미발표 논문 같은 연구 내용은 추출하거나 저장하지 않았다고 밝혔다.

연구자들이 클로드에 가장 많이 맡긴 작업은 데이터 분석으로, 클로드 대화의 33.7%, 클로드 코드 대화의 48.1%가 데이터 분석에 해당했다. 글쓰기와 소통은 클로드 대화의 32.0%였다. 반면 아이디어와 가설 생성은 클로드 대화의 4.2%, 클로드 코드 대화의 2.1%에 그쳤다.

과학자들은 가설 생성을 가장 중요한 연구 활동으로 꼽았으며, 100점을 활동별로 나눠 주는 방식에서 평균 35.6점을 줬다. 연구자가 실제로 가설 생성에 쓰는 시간 비중은 7.1%였다. 데이터 수집은 연구자 시간의 28.6%를 차지하지만 클로드 대화에서는 약 12%였다.

앤트로픽의 과학 연구용 서비스 클로드 사이언스에서는 아이디어와 가설 생성이 대화의 8%로, 연구자 시간 비중과 비슷했다. 단백질 구조와 기능에 관한 가설을 세우는 과제 비중은 일반 클로드의 6.0배였다.

앤트로픽이 과제별 AI 능력을 점수로 매긴 결과, 점수 상위 20% 과제의 사용 비율은 평균보다 클로드에서 약 2.1배, 클로드 코드에서 약 3.9배 높았다. 하위 20% 과제는 거의 사용되지 않았다.

앤트로픽은 생산성 변화에 대한 가상 시나리오도 제시했다. 현재 AI 능력이 연구 현장에 널리 도입되면 일부 분야의 연구 산출물이 2배가 될 수 있다고 추정했다. 실험을 제외한 모든 연구 작업이 자동화되면 컴퓨터과학과 통계학은 최대 15배, 화학과 생물학 같은 실험 중심 분야는 3~4배까지 증가할 수 있다고 봤다.

보고서에 따르면, 소비자 요금제 데이터라 전 세계 과학자를 대표하지 않고, 설문 응답자는 AI를 적극 사용하는 연구자가 중심이다. 아이디어 생성은 다른 작업과 섞여 있어 실제보다 적게 집계됐을 수 있으며, 가설의 품질은 평가하지 않았다.

자세한 내용은 앤트로픽에서 확인할 수 있다.

▶︎ 관련 기사: 앤트로픽, 과학자에게 클로드 1만 좌석 개방…생물·화학 연구는 페이블 대신 오퍼스만

이미지 출처: 앤트로픽