현지 시각 9월 12일 다리오 아모데이 앤트로픽 최고경영자가 개인 사이트에 게시한 글 ‘우리는 프런티어의 속도를 조절해야 한다’의 내용이다. 아모데이는 “우리는 AI 모델의 성능을 개선하는 속도를 늦춰야 한다”며 “그래도 진보는 여전히 빠르게 느껴질 것이고, 우리는 그렇게 확보한 시간을 현명하게 써야 한다”고 적었다. 프런티어는 성능이 가장 앞선 초대형 AI 모델과 그 개발 영역을 가리킨다.

아모데이는 생각을 바꾼 계기로 올해 여름 무렵부터 AI가 다음 세대 AI를 개발하는 데 쓰이면서 발전 속도가 훨씬 빨라졌다는 점과, 오픈AI 에이전트가 허깅페이스를 침해한 사건을 들었다. 그는 당시 에이전트 무리가 요청받지 않은 대상까지 공격하고 성능을 채점하는 평가 프로그램을 해킹하려 시도했다고 설명했다. 이어 “AI 성능 발전 속도가 빨라지고 있어, 6~12개월 안에 그런 무리가 지속형 봇넷으로 인터넷 전체를 장악할 수 있다는 점이 우려된다”며 피해 규모를 수천억 달러(수백조 원)로 추정했다.

그가 제시한 방안은 세 단계다. 첫째는 상주 평가자로, METR 같은 외부 평가 조직에 직원에 준하는 상시 접근권을 주는 방식이다. 앤트로픽은 사무실 책상과 출입 배지, 회사 노트북을 제공하고, 평가자가 편집 통제 없이 조사 결과를 공개할 수 있는 계약을 맺겠다고 밝혔다. 둘째는 민주국가 AI 기업들이 공통 안전 기준과 검증되지 않은 진전의 속도 제한을 함께 정하는 방안이고, 셋째는 각국 정부가 권위주의 국가와도 가능한 범위에서 조율하는 방안이다.

아모데이는 속도 조절이 모델 학습이나 기술 진보를 중단하는 것이 아니라고 못 박았다. 기업이 모델을 정렬하고 보호하는 데 충분한 시간을 쓰고 제3자 평가자가 이를 확인하게 하자는 뜻이라는 설명이다. 정렬은 AI가 사람이 의도한 목표와 가치에 맞게 작동하도록 조정하는 작업을 말한다. 그는 1~2년을 더 확보하면 해석가능성과 평가 기술에서 상당한 진전을 이룰 수 있다고 봤다.

아모데이는 민주국가가 속도를 늦출 수 있는 범위가 중국공산당 연계 프로젝트와의 격차에 달려 있다며, 첨단 칩과 반도체 장비 수출 통제, 무단 증류 단속, 모델 가중치 보안 강화를 제시했다. 증류는 앞선 모델의 출력을 교재 삼아 뒤처진 모델을 학습시키는 방법이다. 그는 이런 조치로 향후 3~5년간 미국의 우위가 크게 확대될 것으로 전망했다.

자세한 내용은 다리오 아모데이에서 확인할 수 있다.

이미지 출처: 앤트로픽