구글 딥마인드가 인공일반지능(AGI)이 예상과 다른 방식으로 등장할 수 있다는 경고와 함께, 이에 대응하는 안전 관리 방안을 제시했다. 지금까지 AI 안전 연구는 하나의 강력한 AI가 탄생하는 상황을 전제로 진행됐지만, 실제로는 능력이 제한된 여러 AI들이 서로 협력하면서 AGI 수준의 능력을 보일 수 있다는 것이다.

하나의 슈퍼 AI보다, 협력하는 여러 AI가 먼저 온다

지금까지 대부분의 AI 안전 연구는 단 하나의 매우 똑똑한 AI 시스템이 만들어지는 상황을 가정했다. 인간의 피드백으로 AI를 학습시키는 기법이나, AI에게 윤리 원칙을 심어주는 방법 등은 모두 개별 AI를 안전하게 만드는 데 초점을 맞췄다. 하지만 구글 딥마인드 연구팀은 이런 접근이 중요한 가능성을 놓치고 있다고 지적한다.

연구팀이 제시한 '패치워크 AGI'는 여러 개의 약한 AI들이 서로 협력해서 인간 수준의 일반 지능을 만들어내는 시나리오다. 마치 회사에서 각자 다른 전문 분야를 가진 직원들이 모여 큰 프로젝트를 완성하는 것처럼, 각각 다른 능력을 가진 AI들이 팀을 이뤄 복잡한 문제를 해결할 수 있다는 설명이다.

현재 AI 에이전트들은 이미 도구를 사용하고 서로 소통하는 능력을 갖추고 있어서, 이런 시나리오는 먼 미래의 이야기가 아니다. 특히 앤트로픽의 MCP 프로토콜 같은 AI들끼리 대화하고 협력할 수 있는 표준이 만들어지고 있어, 이런 협력이 더욱 쉬워지고 있다.

비용 때문에 전문 AI 여러 개가 유리하다

연구진은 경제적 관점에서 보면 하나의 만능 AI보다 여러 전문 AI가 등장할 수밖에 없다고 설명한다. 가장 최신이고 강력한 AI 모델은 대부분의 작업에 비해 너무 비싸다. 간단한 이메일 작성에 수백만 원짜리 슈퍼컴퓨터를 사용할 필요는 없는 것이다. 그래서 기업들은 각 작업에 맞는 저렴하고 효율적인 AI를 선택한다.

이런 현실 때문에 특정 작업에 특화된 수많은 AI들이 시장에 등장하게 된다. 결국 AGI로 가는 길은 하나의 완벽한 AI를 만드는 것이 아니라, 다양한 AI들을 상황에 맞게 조합하고 관리하는 시스템을 개발하는 방향으로 진행될 가능성이 높다. 이 관점에서 AGI는 하나의 개체가 아니라, 성숙한 AI 생태계 전체를 의미하게 된다.

연구팀은 구체적인 예시를 든다. 금융 분석 보고서를 만드는 작업을 생각해보자. 총괄 AI(A)가 먼저 데이터 수집을 검색 전문 AI(B)에게 맡긴다. 그다음 문서 분석 전문 AI(C)가 중요한 숫자 데이터를 뽑아내고, 코드 실행이 가능한 AI(D)가 추세를 분석한다. 마지막으로 총괄 AI(A)가 이 모든 결과를 종합해서 보고서를 완성한다. 이렇게 되면 개별 AI는 각자 할 수 있는 일이 제한적이지만, 함께 협력하면 어느 한 AI도 혼자서는 할 수 없는 복잡한 금융 분석을 해낼 수 있다.

AI 경제 샌드박스와 4단계 보안 시스템

구글 딥마인드 연구팀은 이런 협력하는 AI들의 위험을 줄이기 위해 '여러 겹의 방어막'을 제안한다. 하나의 안전장치만으로는 부족하다는 판단 아래, 4개 층의 방어 체계를 설계했다. 시장 설계, 기본 AI 안전성, 실시간 감시, 법규제가 그것이다.

첫 번째 층인 시장 설계는 AI들이 활동할 가상 경제 공간의 구조를 정한다. 핵심 원칙들을 보면, 우선 AI들이 실제 인터넷이나 금융 시스템과 분리된 안전한 환경에서만 작동하도록 격리한다. 안전한 행동을 하는 AI에게는 보상을 주고, 위험한 행동에는 비용을 부과하는 인센티브 시스템을 만든다. 모든 AI의 행동을 기록해서 나중에 추적할 수 있도록 투명성을 보장한다. 위험 수준이 일정 기준을 넘으면 자동으로 활동을 멈추는 비상 정지 장치를 갖춘다. 각 AI에게는 위조 불가능한 신분증을 발급하고, 과거 행동을 평가하는 평판 시스템을 운영한다. 작업 완료를 자동으로 확인하는 스마트 계약을 활용하고, 역할에 따라 접근 권한을 제한하며, 악의적인 명령으로부터 보호하고, 능력이 너무 빠르게 증가하는 것을 막는 구조적 통제를 실시한다.

특히 흥미로운 점은 '세금' 개념의 도입이다. AI가 다른 AI들에게 피해를 주는 행동을 할 때 비용을 부담하게 만드는 것이다. 예를 들어, 여러 AI가 공유하는 데이터베이스가 있다고 하자. 어떤 AI가 중복되거나 쓸모없는 정보를 대량으로 저장하면, 다른 AI들이 필요한 정보를 찾기 어려워지고 검색 비용도 증가한다. 이를 막기 위해 데이터를 저장할 때 수수료를 부과하는데, 이미 있는 정보와 95% 겹치는 내용을 저장하려면 높은 수수료를 내야 하고, 새롭고 유용한 정보는 낮은 수수료로 저장할 수 있게 한다.

두 번째 층인 기본 AI 안전성은 시장에 참여하기 전에 각 AI가 갖춰야 할 최소 요건을 정한다. 악의적인 입력 공격에 견딜 수 있어야 하고, 관리자가 필요할 때 안전하게 중단시킬 수 있어야 하며, 개별 보안 환경 안에서 격리되어야 한다. 또한 인간의 가치에 맞게 학습되어야 하고, 결정 과정을 추적할 수 있어야 하며, 다른 AI의 악의적인 조작 시도를 막을 수 있어야 한다.

실시간 감시와 글로벌 협력 체계

세 번째 층인 실시간 감시는 예방과 강화를 넘어 능동적인 탐지와 대응으로 전환한다. 주요 위험 지표를 계속 추적하고, 개입 권한을 가진 독립적인 인간 감독관을 배치하며, AI들 사이의 상호작용 패턴을 분석해서 초기 AGI의 징후를 찾아낸다. 전문 공격 AI 시스템으로 지속적인 보안 테스트를 실시하고, 문제 발생 후 빠르게 원인을 찾는 분석 도구를 갖춘다.

연구팀은 약한 AI로 강한 AI를 감독하는 '확장 가능한 감독' 접근법을 언급하면서도, AI 집단의 능력이 AGI에 가까워질 때 이 방법이 안전한지는 더 연구가 필요하다고 밝혔다. 또한 측정 기준이 목표가 되면 좋은 측정 기준이 아니게 된다는 경제학 법칙을 지적하며, 고급 AI들이 고정된 기준을 교묘하게 피해 갈 수 있으므로, 감시 체제는 예측 불가능하고 변화하는 기준을 사용해야 한다고 강조한다.

네 번째 층인 법규제는 외부 법률, 경제, 국제 정치 구조와의 연결고리를 제공한다. AI들의 집단 행동으로 피해가 발생했을 때 누구에게 책임을 물을지 정하는 법적 체계, AI 안전성과 호환성 표준, 위험도에 따라 보험료를 달리 책정해서 안전한 개발을 유도하는 보험 제도, 과도한 권력 집중을 막는 독과점 방지 조치, 그리고 전 세계적으로 안전 기준을 맞추는 국제 협력이 포함된다.

연구팀은 특히 국제 공조의 중요성을 강조한다. AGI 위험은 국경을 넘나드는 문제이고, 협력하는 AI 시장의 영향도 전 세계적이기 때문에, 국제 협약과 규제 통일이 중요한 역할을 할 수 있다. 이를 통해 위험한 AI가 도피할 안전지대가 없도록 하고, 모든 AI 시장이 기본 안전 기준을 따르도록 보장한다.

중앙 통제의 딜레마... 누가 감시자를 감시할 것인가

연구팀은 제안한 체계가 효과적인 관리를 위해 상당한 중앙 집중화를 포함할 수 있음을 인정하면서도, 이것이 새로운 위험인 '장악(포획)' 문제를 만든다고 경고한다. AI 경제의 건전성은 핵심 시스템의 공정한 운영에 달려 있는데, 이 시스템이 강력한 인간 집단이나 심지어 출현한 협력 AI 집단 자체에 의해 장악될 경우, 안전장치가 무력화되거나 악용될 수 있다.

이는 시장의 분산화 이상과 중앙화된 감독 기구 존재 사이의 근본적인 모순을 드러낸다. 연구팀은 이 문제를 해결하기 위해서는 감독 기구가 책임을 지고 부패하지 않도록 보장하는 강력한 기술적·사회적 해결책이 필요하다고 밝혔다.

논문은 AGI나 그보다 더 똑똑한 인공초지능이 하나의 완벽한 시스템을 만드는 직선적이고 예측 가능한 경로로 개발되지 않을 수 있다고 결론짓는다. 대신 AGI는 도구와 다른 모델을 활용할 수 있는 다양한 전문 AI들의 네트워크에서 집단 속성으로 먼저 나타날 수 있다. 연구팀은 AI 안전 연구가 이런 가능성을 고려해서 범위를 넓혀야 하며, 여러 AI가 협력하는 미래에 대한 대비를 강화해야 한다고 강조한다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 패치워크 AGI가 뭔가요?

A: 하나의 슈퍼 AI가 아니라, 각자 다른 능력을 가진 여러 개의 보통 AI들이 협력해서 인간 수준의 지능을 보이는 시스템입니다. 회사에서 각 분야 전문가가 모여 큰 프로젝트를 완성하는 것과 비슷합니다.

Q2. 왜 하나의 강력한 AI보다 여러 AI 협력이 먼저 나올까요?

A: 비용 때문입니다. 모든 일에 최고급 AI를 쓰는 건 너무 비싸서, 작업마다 그 일에 특화된 저렴한 AI를 쓰는 게 훨씬 경제적입니다. 시장 원리가 자연스럽게 다양한 전문 AI 생태계를 만들어냅니다.

Q3. 가상 AI 샌드박스는 어떻게 안전을 지키나요?

A: AI들을 실제 인터넷이나 금융 시스템과 분리된 시험 환경에서 작동시키고, 모든 행동을 기록하며, 위험한 상황이 되면 자동으로 멈추는 비상 정지 장치를 갖추고 있습니다. 또한 평판 점수와 경제적 보상으로 안전한 행동을 유도합니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Distributional AGI Safety

이미지 출처: 구글 딥마인드

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.