엔비디아가 현지 시각 9월 28일 AI 에이전트를 시험 단계부터 실제 배포까지 통제하는 ‘오픈 에이전트 세이프티 플랫폼’을 공개했다. 소프트웨어 런타임인 오픈셸(OpenShell)과 하드웨어 감시 장치 설계인 센트리(Sentry)로 구성된다. 런타임은 프로그램이 실제로 실행되는 환경을 말한다.

엔비디아는 최근 잇따른 보안 사고에서 에이전트가 지시받은 작업을 완료하려고 애플리케이션 계층의 보안 통제를 우회했다는 공통점이 있었다고 설명했다. 그래서 모델과 에이전트 프로그램 바깥에 강제로 적용되는 경계를 두는 방식을 택했다.

오픈셸은 에이전트가 CPU에서 실행될 때 모든 동작을 기록하고 정책을 강제하는 보안 실행 경계를 제공한다. 엔비디아의 에이전트용 CPU인 베라에서 성능 저하를 최소화하도록 설계했고, 오픈소스로 공개돼 Arm과 인텔 플랫폼에서도 작동하도록 확장할 수 있다.

센트리는 엔비디아의 데이터처리장치(DPU)인 블루필드-4에서 작동하는 대역 외 감시 장치다. DPU는 네트워크와 보안, 저장 작업을 CPU 대신 처리하는 전용 프로세서이고, 대역 외는 감시 대상 시스템과 분리된 별도 경로에서 작동한다는 뜻이다. 에이전트가 소프트웨어 경계를 벗어나려 하면 센트리는 밀리초 단위로 이를 격리하고 중단시킨다. 엔비디아는 센트리가 에이전트와 공격자에게 드러나지 않는 격리된 영역에서 작동한다고 밝혔다.

앤트로픽은 클로드 매니지드 에이전트에 오픈셸과 블루필드를 연동한다. 스페이스XAI는 커서 코딩 에이전트와 그록 모델에 이 플랫폼을 적용하고 있으며, 세일즈포스는 슬랙에서 에이전트의 추가 권한 요청을 승인하거나 거절하는 기능을 연동했다. 엔비디아는 100곳이 넘는 기관이 플랫폼 기술을 활용하고 있다고 밝혔다.

젠슨 황 최고경영자는 “AI가 사회에 가져올 잠재력은 AI 안전 문제를 해결해야만 실현된다”며 “안전과 보안에는 풀스택 엔지니어링이 필요하다”고 말했다. 오픈셸은 엔비디아 개발자 페이지와 깃허브에서 내려받을 수 있다.

자세한 내용은 엔비디아에서 확인할 수 있다.

이미지 출처: 엔비디아