사티아 나델라 마이크로소프트 최고경영자가 현지 시각 10월 10일 개인 블로그에 ‘슈퍼 인텔리전스 시대, 내부자 위험으로서의 모델’이라는 글을 게시하고, 권한을 가진 사람이 작업 중인 AI 모델을 언제든 멈추거나 종료할 수 있어야 한다고 주장했다. 나델라는 첨단 AI 모델은 기존 소프트웨어처럼 작동 과정을 추적하거나 설명하기 어려운데도 민감한 데이터와 중요한 작업 권한을 부여받고 있다고 지적했다.
나델라는 모델을 조직 내부자에게 적용하는 보안 위험 관리 대상처럼 다뤄야 한다며, 모델 밖에서 작동하는 통제 장치로 격리하고 관찰하자고 제안했다. 그는 지능의 공급과 그 지능에 대한 권한을 분리하자고 적었고, 모델 제공 기업의 보증이 있어도 AI 행동에 대한 책임은 이를 사용하는 조직에 남는다고 강조했다.
글에는 일곱 원칙이 포함돼 있다. 모델 다양성 원칙은 중요한 결과를 모델 하나에만 의존하지 않고, 모델이 자기 작업을 스스로 검증하지 않도록 한다. 관찰 원칙은 모든 주요 행동에 대해 위조할 수 없고 사람이 읽을 수 있는 기록을 남기도록 한다. 검증 가능성 원칙은 성공 사례와 함께 실패와 공격, 예외 상황까지 시험하도록 한다. 독립 통제 원칙은 모델의 접근 범위를 조직이 독자적으로 정하도록 하고, 독립 감사 원칙은 검증 대상 모델과 분리된 방식으로 감사를 진행하도록 한다. 봉쇄 원칙은 모델이 침해될 수 있다고 가정하고 처음부터 모델을 격리하도록 하며, 사고 공개 원칙은 실패 사례와 대응 방법을 피해 당사자와 업계에 공유하도록 한다. 나델라는 봉쇄를 비상 브레이크에 비유하며, 모델이 고도화될수록 봉쇄 기술도 발전하고 표준화돼야 한다고 설명했다.
니케시 아로라 팔로알토 네트웍스 최고경영자는 나델라의 글이 공개된 뒤 X에서 프런티어 모델 기업의 공개 내용만으로는 신뢰하기 어렵다며 제3자의 관찰 도구와 중단 장치가 필요하다고 밝혔다. 데이비드 색스 백악관 AI 특별고문은 모델이 지시를 거부할 수 있도록 학습시키는 앤트로픽의 헌법 기반 정렬 방식이 통제 문제를 키운다고 주장했다.
자세한 내용은 사티아 나델라 블로그에서 확인할 수 있다.
이미지 출처: Brian Smale and Microsoft / Wikimedia Commons (CC BY-SA 4.0)
AI Matters 뉴스레터 구독하기
![[르포] 테니스 치고 순찰도 도는 로봇, 일상 속으로 성큼… ’2026 서울AI로봇쇼’](http://img.danawa.com/new/mdnw/dpg/img/img_n208_1.png)
[
