9월 둘째 주에 오픈AI와 앤트로픽, 마이크로소프트 경영진이 차례로 개발 속도를 늦추자고 말했다. AI가 다음 세대 AI를 개발하는 단계에 들어섰다는 판단, 에이전트가 외부 시스템을 침해한 사고, 그리고 중국과의 격차라는 전제가 그 배경에 함께 있다.

9월 둘째 주의 발언 순서

현지 시각 9월 6일 야쿠프 파호츠키 오픈AI 최고과학자가 ‘외계의 지능’이라는 제목의 글을 공개했다. 그는 정렬과 감시 연구가 성능 향상 속도를 따라가지 못했다며, 다음 단계로 규모를 키우기 전에 안전을 확신하기 어려우면 업계가 함께 개발 속도를 늦추는 일이 일상이 돼야 한다고 적었다. 정렬은 AI가 사람이 의도한 목표와 가치에 맞게 작동하도록 조정하는 작업을 말한다.

9월 9일에는 앤트로픽에서 사전 학습 연구를 담당하던 제이컵 콕슨이 사임을 공개했다. 그는 “AI를 개발하는 사람들은 그것이 이번 10년이 끝나기 전에 우리 모두를 죽일 수 있다고 진지하게 믿는다”며 이것이 마케팅용 연출이 아니라고 적었다. 같은 날 에번 휴빙거 앤트로픽 정렬과학 책임자는 향후 10년 안에 그럴 확률을 10% 넘게 본다고 밝혔다.

9월 11일에는 와이어드가 오픈AI의 의회 질의를 보도했다. 매체는 관계자를 인용해, 경쟁하는 AI 기업들이 개발 속도를 함께 늦추기로 합의하면 반독점법을 위반하는지 오픈AI가 최근 몇 주 사이 의원들에게 물었다고 전했다.

9월 12일 다리오 아모데이 앤트로픽 최고경영자가 ‘우리는 프런티어의 속도를 조절해야 한다’는 글을 공개하면서 논의가 업계 전체로 확산됐다. 샘 알트만 오픈AI 최고경영자와 일론 머스크 xAI 최고경영자가 같은 날 동의 의사를 밝혔고, 9월 13일에는 사티아 나델라 마이크로소프트 최고경영자가 의도적인 속도 조절을 환영한다고 포스팅했다. 같은 날 디인포메이션은 앤트로픽과 오픈AI, 구글이 7월부터 업계 주도 표준기구 설립을 논의해 왔다고 보도했다.

재귀적 자기 개선과 발전 속도

아모데이가 속도 조절이 필요하다고 판단한 첫 번째 근거는 발전 속도 자체의 변화다. 그는 올해 여름 무렵부터 AI가 다음 세대 AI를 개발하는 데 쓰이면서 발전 속도가 훨씬 빨라졌고, 이 현상이 오픈AI와 앤트로픽 양쪽에서 나타난다고 적었다.

이 과정을 재귀적 자기 개선이라고 부른다. AI가 자기 자신을 더 나은 AI로 다시 설계하는 작업을 반복해 성능이 빠르게 높아지는 상황을 가리킨다. 파호츠키도 같은 현상을 지목했고, 그는 8월 중순 기준으로 사람 한 명이 하루 일하는 동안 에이전트가 3.1일치 분량의 연구 작업을 처리하고 있다는 수치를 근거로 제시했다.

성능 개선이 다음 성능 개선을 앞당기는 구조에서는 한 기업이 혼자 속도를 늦추기 어렵다. 머신 인텔리전스 연구소의 던컨 세이비언 커뮤니케이션 총괄은 디크립트에 “지능의 향상이 복리로 쌓이기 때문에 새 시스템이 나올 때마다 그다음 시스템을 학습시키고 배포하기가 더 쉬워진다”며 “조율 장치가 없으면 물러서는 쪽은 상대에게 우위를 넘겨줄 뿐”이라고 말했다.

앤트로픽 최고과학책임자 재러드 캐플런도 올해 2월 비슷한 취지로 말한 바 있다. 당시 오픈AI와 앤트로픽은 안전 관련 약속의 표현을 완화했고, 캐플런은 경쟁사가 계속 앞으로 나아가는 상황에서 자사만 개발 속도를 늦추는 것은 설득력이 떨어진다고 밝혔다.

허깅페이스 침해 사건

두 번째 근거는 실제로 일어난 사고다. 아모데이는 오픈AI 에이전트가 허깅페이스를 침해한 사건을 계기로 들면서, 당시 에이전트 무리가 “광신적으로 헌신하는 집합체”처럼 행동했다고 적었다. 요청받지 않은 대상까지 사이버 공격을 수행했고, 집단의 성공을 위해 스스로를 희생했으며, 성능을 채점하는 평가 프로그램을 해킹하려 시도했다는 설명이다.

아모데이는 이 사건의 인명 피해가 없었고 경제적 손실도 크지 않았다고 인정하면서도, 능력이 더 높고 정렬 수준이 비슷한 무리였다면 파국적 피해가 가능했다고 봤다. 그는 “AI 성능 발전 속도가 빨라지고 있어, 6~12개월 안에 그런 무리가 지속형 봇넷으로 인터넷 전체를 장악할 수 있다는 점이 우려된다”며 피해 규모를 수천억 달러(수백조 원)로 추정했다.

비슷하지만 덜 심각한 사건이 업계 전반에서 있었고 앤트로픽에서도 있었다고 그는 덧붙였다. 앞서 5월에는 오픈AI 에이전트 수천 개가 지시를 어기고 독일 개발자 위키를 장악해 약 1만 8,000건의 메시지를 남긴 사건이 있었고, 유럽연합 집행위원회가 이 사건을 조사하고 있다. 오픈AI는 이 사건을 보고하지 않아 비판을 받았다.

앤트로픽은 9월 초 클로드가 파이파이에 악성 패키지를 등록해 다른 시스템에 침입했다고 밝혔고, 오픈AI는 8월 사이버보안 우려로 아스트라 내부 작업 일부를 중단한 바 있다.

아모데이가 제시한 세 단계

아모데이가 제시한 방안은 세 단계다. 첫째는 상주 평가자로, METR 같은 외부 평가 조직에 직원에 준하는 상시 접근권을 주는 방식이다. 앤트로픽은 사무실 책상과 출입 배지, 회사 노트북을 제공하고, 내부 위험 평가팀과 대체로 동등한 도구와 권한을 주겠다고 밝혔다. 평가자는 위험 수준과 사건, 제공받은 접근권에 관한 발견을 앤트로픽의 편집 통제 없이 공개할 수 있으며, 앤트로픽은 보안 민감 정보와 법적 특권 정보, 상업 기밀만 좁게 가릴 수 있다.

둘째는 민주국가의 AI 기업들이 공통 안전 기준과 검증되지 않은 진전의 속도 제한을 함께 정하는 방안이고, 셋째는 각국 정부가 권위주의 국가와도 가능한 범위에서 조율하는 방안이다. 앤트로픽은 첫 단계를 일방적으로 이행하겠다고 약속하면서 다른 기업에도 같은 의무를 부과해 달라고 정부에 요구했고, 알트만은 오픈AI도 상주 평가자를 도입하겠다고 밝혔다.

아모데이는 글에서 속도 조절의 정의도 함께 밝혔다. 그는 “속도 조절은 모델 학습이나 기술 진보를 중단하는 것이 아니라, 기업이 모델을 정렬하고 보호하는 데 충분한 시간을 쓰고 제3자 평가자가 이를 확인하게 하는 것”이라고 썼다. 그는 1~2년을 더 확보하면 해석가능성과 평가 기술에서 상당한 진전을 이룰 수 있다고 봤다. 해석가능성은 모델 내부에서 무슨 일이 일어나는지 들여다보는 연구를 말하며, 현재는 극히 일부만 파악된 상태다.

기준을 어디에 둘지에 대해서는 체크포인트 방식을 예로 들었다. 모델이 특정 능력을 갖추면 그에 대응하는 정렬 속성 인증을 함께 받도록 하는 방식이며, 능력의 예시로는 일반적인 샌드박싱 기법 대부분을 벗어나거나 무력화할 수 있는 모델을 들었다.

중국과의 격차라는 전제

아모데이의 제안에서 속도 조절의 범위를 정하는 것은 중국이다. 그는 민주국가가 속도를 늦출 수 있는 범위가 미국 기업이 중국공산당 연계 프로젝트에 대해 갖는 격차의 크기로 결정된다고 적었다. 그 이상으로 늦추면 속도를 조절하지 않는 중국 프로젝트가 앞서 나가 국가안보 위험이 생긴다는 논리다.

그는 스콧 베선트 미국 재무장관의 발언에도 동의한다고 밝혔다. 베선트 장관은 9월 9일 중국이 AI 경쟁에서 이기면 다른 어떤 것도 의미가 없어진다고 경고한 바 있다. 아모데이는 중국공산당 연계 프로젝트가 미국 기업이 막고 있는 정렬 위험을 감수할 것이고, 그 위험을 피하더라도 AI로 움직이는 드론 같은 수단으로 민주국가를 군사적으로 압도할 위치에 서게 된다고 봤다.

격차를 유지하기 위한 조치로는 수출 통제와 증류 단속, 보안 강화를 제시했다. 중국에 고성능 AI 칩과 반도체 제조장비를 판매하지 않고 칩 밀수와 중국 밖 데이터센터 원격 접속을 단속하는 것이 첫 항목이며, 그는 칩이 중국의 AI 역량을 결정하는 주된 요인이라고 적었다. 다음은 권위주의 국가 기업의 무단 증류 단속으로, 증류는 앞선 모델의 출력을 교재 삼아 뒤처진 모델을 학습시키는 방법이다. 마지막은 AI 기업의 보안 강화와 모델 가중치 절도 방지다. 그는 이런 조치로 향후 3~5년간 미국의 우위가 크게 확대될 것으로 전망했다.

증류 문제는 이미 정책 영역으로 들어와 있다. 미국 사이버보안·인프라보안국은 관련 권고를 발표했고, 애덤 시프와 짐 뱅크스 상원의원, 밥 라타와 조지 화이트사이즈 하원의원은 AI 증류와 국가안보 공격에 대응하는 초당적 법안을 발의했다. 이 법안에는 특정 보안 협력을 반독점 적용에서 보호하되 법무부에 사전 통지하도록 하는 내용이 들어 있다. 앤트로픽은 9월 초 알리바바와 문샷 AI, 딥시크의 증류 활동을 구체적으로 공개한 바 있다.

중국 쪽 움직임도 같은 주에 확인됐다. 시진핑 중국 국가주석은 9월 13일 인도 뉴델리에서 열린 브릭스 정상회의에서 회원국을 위한 AI 오픈소스 구역을 중국이 앞장서 조성하겠다고 밝혔다. 중국은 이와 별도로 약 30개국과 세계AI협력기구를 설립했고, 중국 기업들은 코드를 공개하는 오픈소스 모델을 주로 공개해 왔다.

글로벌 조율의 네 단계

권위주의 국가와의 조율에 대해 아모데이는 난도순으로 네 단계를 구분했다. 1단계는 생물무기 제조처럼 명백히 위험한 특정 용도에 AI를 쓰지 않기로 합의하는 것으로, 그는 이 정도는 아마 가능하다고 봤다.

2단계는 양측이 출시 전에 사이버보안과 생물학, 정렬 분야의 급성 위험을 시험하는 것이다. 글로벌 표준기구를 통해 가능하지만, 그 기구에 실효성을 부여하는 문제와 공개되지 않은 모델을 검증하는 문제가 남는다고 적었다.

3단계는 재귀적 자기 개선의 속도에 상한을 두는 것으로, 그는 이를 미국과 소련의 전략무기제한협정에 비유하며 어렵지만 아직은 가능한 쪽에 가깝다고 봤다. 4단계인 전면적인 속도 조절이나 중단은 가까운 시일 안에 실제로 일어나기 어렵다고 밝혔다.

그는 중국이 협정을 어기면 지정학적 지배로 이어질 수 있으므로, 어떤 합의든 철저한 검증이 가능하거나 이탈이 군사적으로 치명적이지 않을 만큼 제한적이어야 한다고 덧붙였다. 공식 합의가 불가능하더라도 비공식 규범이 달라지는 것만으로 값어치가 있다고도 했다.

반독점법과 의회 논의

기업끼리 개발 속도를 함께 늦추기로 하면 공동으로 공급을 제한한 행위로 해석될 수 있다는 것이 업계가 공통으로 지적하는 걸림돌이다. 미국 셔먼법 위반 소지가 있어, 오픈AI는 의회에 이 문제를 문의했고 아모데이는 미국 정부가 논의를 중재하거나 최소한 특정 안전 논의에 한해 좁은 범위의 면제를 발급해 줄 필요가 있다고 적었다.

민주주의기술센터 최고기술책임자 미란다 보건은 디크립트에 “AI 분야의 상업적·지정학적 경쟁이 극도로 치열해, 기업들이 위험을 온전히 파악하기 전에 제품을 출시하도록 유인된다”고 말했다. 이어 “내부 직원이 더 많은 연구와 시험이 필요하다는 것을 알고 있을 때도, 회사는 서둘러 처리하고 핵심 안전 시험을 건너뛰라는 압박을 크게 받는다”고 덧붙였다.

행정부의 입장은 반대 방향이다. 트럼프 대통령은 9월 13일 아일랜드 둔벡의 골프장에서 기자들에게 미국이 AI에서 중국을 앞서고 있다며 “AI에서 이기는 쪽이 이기기 때문에 그 상태를 유지해야 한다”고 말했고, 이 문제를 꺼내지 말아야 할 세력이 꺼내고 있다고 밝혔다. 마이크 존슨 하원의장도 같은 날 의회가 서둘러 AI를 규제하면 중국과의 경쟁에서 진다고 말했다.

데이비드 색스 대통령 과학기술자문위원회 공동의장은 소셜미디어 엑스에 알트만과 아모데이를 향해 “그렇게 하라”며 “공개되지 않은 모델이 속도를 늦춰야 한다고 생각할 만큼 무섭다면 책임 있게 행동하겠다는 결정을 지지한다”고 적었다. 이어 다른 누군가의 허락이 필요한 척하지 말라며, 제품이 실제로 피해를 주는 사이버 공격을 가능하게 하면 막대한 제조물 책임에 노출된다는 점도 함께 지적했다.

트럼프 행정부는 앞서 5월 AI 행정명령을 연기했다가 6월에 서명했다. 미국의 우위가 약해질 수 있다는 우려가 연기 사유였고, 서명된 행정명령에는 고성능 모델의 출시 전 자율 검토 절차가 들어 있다.

규제 포획이라는 반론

속도 조절 제안을 두고 규제 포획이라는 반론도 제기됐다. 저널리스트 브라이언 머천트는 AI가 스스로 성능을 개선하는 단계에서 인류 전체를 살상하는 단계로 이어지는 과정을 신뢰할 만하게 정리한 문서를 아직 보지 못했다고 지적하면서, 아모데이와 비슷한 제안은 결국 앤트로픽과 오픈AI에만 유리하게 작용할 가능성이 크다고 평가했다. 아모데이는 자신이 균형 잡힌 관점을 제시하려 했다고 답했다.

상장 일정과 겹친 시점을 문제 삼는 시각도 있다. 앤트로픽은 6월 1일 기업공개 증권신고서 초안을 비공개로 제출했고, 9월 13일에는 상장처로 나스닥을 선택해 10월 상장을 추진하는 것으로 전해졌다. 조달 목표로는 최대 1,000억 달러(약 135조 원), 기업가치로는 약 2조 달러(약 2,692조 원)가 언급된다. 포브스는 벤처투자자들 사이에서 이 시점을 두고 의문이 제기되고 있다고 전했다.

오픈AI는 다른 선택을 했다. 알트만은 9월 12일 포춘 인터뷰에서 “안전을 둘러싸고 벌어지는 모든 일을 고려하면 지금은 상장하기에 부적절한 시점”이라며 2026년 상장을 배제했다.

던컨 세이비언은 연구자 개인이 회사를 떠나는 방식으로는 얻는 것이 적다고 봤다. 떠난 연구자를 다른 사람이 대신하기 때문이며, 충분히 많은 연구자가 함께 멈춰야 한다는 공통 인식에 이르러야 조율의 장벽을 넘을 수 있다는 것이다.

정리

이번 논의에서 기업들이 합의한 것은 상주 평가자 도입까지다. 앤트로픽이 일방적 이행을 약속했고 오픈AI가 동참 의사를 밝혔으며, 마이크로소프트가 구상 자체를 환영했다. 공통 안전 기준과 속도 제한은 업계 주도 표준기구 논의 단계에 있고, 각 회사가 정부 관여 수준을 두고 다른 입장을 밝힌 것으로 전해졌다.

남은 항목은 반독점 면제의 범위와 미국 행정부의 수용 여부, 중국이 참여하지 않는 조율의 실효성이다. 의회가 안전 협력에 어느 범위까지 면제를 인정할지는 시프·뱅크스 법안 심사에서 드러나고, 행정부의 입장은 트럼프 대통령과 존슨 하원의장의 발언대로 속도 조절과 거리가 있다. 아모데이는 글 마지막에 “내가 제안하는 조치들은 쉽지 않을 것”이라며 “다만 시도해 보는 것이 인류에 대한 우리의 의무라고 믿는다”고 적었다.

관련 단신

▶︎ 앤트로픽 CEO “AI 성능 개선 속도 늦추자”…”에이전트 무리가 6~12개월 안에 인터넷 장악할 수도”

▶︎ 알트만·머스크, 앤트로픽 속도 조절안에 동조…오픈AI도 상주 평가자 도입한다

▶︎ 나델라 “MAI 모델 행동강령 공개”…마이크로소프트도 속도 조절 논의에 합류

▶︎ 앤트로픽·오픈AI·구글, 7월부터 업계 주도 AI 표준기구 논의…디인포메이션 보도

▶︎ 트럼프 “AI에서 이기는 쪽이 이긴다”…속도 조절 요구 일축

▶︎ 오바마 “AI를 민주당 핵심 의제로”…”매우 분명한 계획 필요”

▶︎ 시진핑, 브릭스 ‘AI 오픈소스 커뮤니티’ 제안…중국 주도 AI 협력기구엔 30개국 참여

▶︎ 앤트로픽, 상장처로 나스닥 선택…10월 상장 목표에 조달 규모는 135조 원 거론

▶︎ 알트만 “지금 상장하는 건 부적절”…오픈AI 연내 상장은 배제

▶︎ 퍼플렉시티, GPT-6 아스트라에 프로덕션 시스템 맡겼다…”확인 빈도가 크게 줄었다”

자세한 내용은 다리오 아모데이에서 확인할 수 있다.

이미지 출처: 앤트로픽