지난주, 주요 AI 기업의 직원과 핵심 인물들은 초지능 AI로 인한 위험이 인류를 위협할 수 있다는 자체 팀 및 다른 AI 연구자들의 경고를 인용하며 최첨단 AI 모델 개발 속도를 늦출 것을 촉구했다. 서구 주요 기업들은 이 문제에 대해 연대를 표명했지만, 다른 이들은 신중을 기하거나 주장을 전면 부인했다. 그러나 개발 속도 조절 요구 뒤에는 오픈 소스 AI 모델과 클로즈드 소스 AI 모델 간의 긴장이라는 더 깊은 이야기가 존재한다.

한편, 다른 국가들도 이 소식에 반응하며 AI 안전을 조사하기 위한 독립적인 노력을 기울이고 있다. 영국의 찰스 3세 국왕은 주요 AI 인사들과 만나 인류의 이익을 위해 AI를 더 잘 개발하는 방법을 논의하기 위한 회의를 마련했다.

AI가 스스로를 개선하는 역할이 점점 커지고 있다고 주장하며, 많은 AI 연구자들이 우려하는 재귀적 자기 개선(RSI) 현상을 암시한 Amodei는 AI 모델에 대한 독립적인 감사 기관 설립을 요구했다. Altman도 이에 동의하며, 정부가 최첨단 개발자들이 제정한 모든 안전 프로토콜에 대한 통일된 준수를 장려하기 위해 규제를 세계화할 것을 촉구했다.

그러나 모든 사람이 이러한 우려가 정당하다고 생각하는 것은 아니다. 최근 고도로 지능적인 오픈 웨이트 모델 개발에서 큰 진전을 이룬 중국은 이러한 우려를 '공포 조장'이라고 부르며, 대립적인 태도가 누구에게도 이익이 되지 않는다고 말했다. 시진핑 중국 주석은 과거 AI가 '항상 인간의 통제하에 있어야 한다'고 말했지만, 중국 국영 Global Times는 개발 속도 조절 요구가 중국의 발전을 '억제'하기 위한 방법이라고 주장했다.

AI 개발로 실제적이고 막대한 수익을 창출하는 몇 안 되는 기업 중 하나인 Nvidia는 AI 산업의 폭발적인 성장이 현재 궤도를 계속 유지하는 데 기득권을 가지고 있다. 실제로 Nvidia는 AI 산업에 막대한 투자를 했다. Nvidia는 하드웨어 및 소프트웨어 회사에 지분을 보유하고 있으며, 신생 클라우드 기업에 대한 지원도 제공한다. 또한 최근 Hugging Face를 130억 달러에 인수했다.

AI 최고경영자들이 갑자기 속도 조절을 결정했을지 모르지만, 이전에도 많은 이들이 이러한 요구를 해왔다. 미국 상원의원 버니 샌더스는 AI 산업이 너무 빠르게 움직이며 너무 많은 것을 망가뜨리고 있다는 주장의 선두에 서 있었고, 최근에는 초지능 AI를 개발하는 사람들에게 중형의 징역형을 부과할 것을 요구했다.

강력한 AI 모델에 대한 더 엄격한 통제를 요구하는 서구 최첨단 AI 기업들의 연합은 또 다른 이론적인 이점도 가진다. 바로 서반구에서 사용이 허용되는 AI 모델의 수를 제한하는 것이다. 생성된 총 토큰 수를 기준으로 하는 OpenRouter의 AI 모델 순위를 대략적으로 살펴보면, 상위 10위권에 서구에서 제작된 모델은 단 3개뿐이다. 1위는 크게 할인된 GPT 5.6 Luna, 8위는 Nvidia의 Nemotron Ultra 3 (무료), 10위는 최근 출시된 Google의 Gemini 3.8 Flash다.

주요 AI 기업들이 안전 개선을 위해 자발적으로 또는 공동으로 개발 노력을 억제할 수 있지만, 전 세계적으로 중요한 조치를 시행하려면 국제 정부의 협력이 필요하다. 전 세계 정치인들 사이에서는 수조 달러 규모의 기업과 그들의 최첨단 자율 시스템을 규제해야 한다는 요구가 분명히 존재한다.