엔비디아가 책임 있는 인공지능(AI) 활용과 사이버 보안 강화를 위한 글로벌 연합체 ‘오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance)’를 출범했다. 엔비디아를 비롯한 창립 회원사들은 개방형 모델과 에이전트 하네스, 보안 도구를 공동으로 개발하고 공유해 AI 시스템의 신뢰도를 높일 계획이다.

이번 얼라이언스는 리눅스 재단의 아크리테스(Akrites) 이니셔티브와 오픈SSF(OpenSSF) 커뮤니티의 활동을 토대로 운영된다. 개방형 기술을 활용해 AI와 소프트웨어에서 발견되는 취약점을 분석하고 공개하며, 대응 기술을 공동으로 발전시키는 것이 목표다.

엔비디아는 오픈소스 소프트웨어가 클라우드 컴퓨팅과 금융, 제조, 통신, 정부·공공 서비스 등 세계 경제를 구성하는 주요 산업의 기반으로 자리 잡았다고 강조했다. 사이버 보안 역시 오픈소스 생태계의 대표적인 수혜 분야인 만큼, AI 시대에도 보안 담당자가 직접 검토하고 조정할 수 있는 개방형 방어 체계가 필요하다는 입장이다.

개방형 AI로 단일 장애점 줄인다

오픈 시큐어 AI 얼라이언스는 폐쇄형 모델과 개방형 모델이 함께 활용돼야 한다는 방향성을 내세웠다. 개방형 모델과 하네스는 보안 담당자가 시스템 내부를 검토하고 조직의 환경에 맞게 조정할 수 있도록 지원한다. 민감한 데이터를 외부로 내보내지 않고 자체 인프라에서 사이버 방어 업무를 수행하는 것도 가능하다.

조직별 맞춤화와 현지화, 소버린 통제 기능을 제공해 폐쇄형 최첨단 모델의 한계를 보완하는 역할도 맡는다. 여러 기업과 기관이 각자의 환경에서 방어 체계를 운영할 수 있어 특정 시스템이나 사업자에 장애가 발생했을 때 전체 보안 체계가 영향을 받는 위험도 줄일 수 있다.

다만 개방형 모델 역시 안전장치를 약화하거나 사이버 공격에 전용하는 방식으로 악용될 가능성이 있다. 얼라이언스는 이러한 위험이 개방형 시스템에만 국한된 문제가 아니며, 첨단 AI가 배포되는 모든 환경에서 관리해야 할 과제라고 밝혔다.

이에 개방형 시스템의 접근을 제한하는 대신 강력한 안전장치와 악의적 이용을 금지하는 규칙, 엄격한 평가, 신속한 취약점 대응 체계를 함께 구축해야 한다고 강조했다. 보안 담당자가 개방형 모델과 폐쇄형 모델 가운데 업무에 적합한 시스템을 선택하고, 필요한 환경에서 투명성과 맞춤화, 통제권을 확보할 수 있어야 한다는 설명이다.

허깅페이스 보안 사고가 보여준 개방형 AI의 필요성

엔비디아는 최근 발생한 허깅페이스 보안 사고를 개방형 AI 방어 기술이 필요한 사례로 들었다. 당시 폐쇄형 AI 도구가 공격자와 방어자를 구분하지 못해 필수적인 포렌식 분석을 차단하자, 허깅페이스는 자체 인프라에서 오픈 웨이트 GLM 5.2 모델을 실행했다.

허깅페이스는 이를 이용해 1만7,000건 이상의 활동을 분석하고 침입을 차단했다. 보안 담당자가 첨단 AI를 직접 검토하고 조정하거나 자체 인프라에서 실행할 수 없다면 신속한 대응이 필요한 순간에 방어 역량이 제한될 수 있다는 것이 엔비디아의 설명이다.

얼라이언스는 기업과 국가가 핵심 산업의 보안 시스템을 멀티벤더 생태계로 구성하고 단일 장애점을 방지하려면 개방형 최첨단 방어 기술을 확보해야 한다고 강조했다. 전 세계 보안 담당자가 신뢰하면서도 직접 통제할 수 있는 도구를 제공하는 것이 이번 연합체의 핵심 사명이다.

네이버·SK텔레콤 등 글로벌 기업·기관 참여

오픈 시큐어 AI 얼라이언스에는 클라우드 컴퓨팅과 사이버 보안, 엔터프라이즈 소프트웨어, 오픈소스 재단, AI 연구 분야의 기업과 기관이 창립 파트너로 참여한다.

참여사는 엔비디아를 비롯해 어도비, 케이던스, 캐피털 원, 시스코, 클라우데라, 클라우드플레어, 코그니션, 크라우드스트라이크, 데이터브릭스, 델 테크놀로지스, 도어대시, 엘라스틱, HPE, 허깅페이스, IBM, 랭체인, 리눅스 재단, 마이크로소프트, 네이버, 넷앱, 누스 리서치, 오픈클로, 팔란티어, 팔로알토 네트웍스, 레드햇, 리플렉션 AI, 세일즈포스, SAP, SK텔레콤, 서비스나우, 지멘스, 스노우플레이크, 스페이스XAI, 시놉시스, 싱킹 머신스 랩, 트렌드AI 등이다.

이들 기업과 기관은 AI 시대의 소프트웨어와 에이전트를 보호하는 데 필요한 개방형 기술과 기법, 도구를 공동으로 개발하고 공유할 예정이다.

엔비디아, 에이전트 연구 프레임워크 ‘NOOA’ 공개

AI 에이전트는 언어 모델뿐 아니라 모델을 작동시키는 하네스와 가드레일 등 여러 요소로 구성된다. 따라서 AI 시스템의 안전성은 모델 가중치의 공개 여부만으로 결정되지 않으며 아이덴티티, 권한, 하네스, 가드레일, 로그, 평가 등 에이전트 스택 전반에서 확보해야 한다.

엔비디아는 새로운 사이버 보안 도구와 기술 개발을 지원하기 위해 얼라이언스에 개방형 모델과 모델 가중치, 데이터, 에이전트 하네스 연구 결과를 제공한다.

새로운 오픈소스 프로젝트인 ‘엔비디아 랩스 객체 지향 에이전트(NVIDIA Labs Object-Oriented Agent, NOOA)’도 깃허브를 통해 공개했다. NOOA는 에이전트 하네스와 모델의 통합을 지원하는 연구 프레임워크다. 개발자와 보안 담당자는 이를 활용해 AI 에이전트의 행동을 테스트하고 추적하며 감사·관리할 수 있다.

얼라이언스 참여사들은 아이덴티티와 시스템 격리, 안전한 모델 저장 형식, 멀티모델 스캐닝, 보안 코딩 워크플로를 아우르는 개방형 에이전트 방어 스택도 구축하고 있다.

HPE는 AI 에이전트와 서비스의 신원을 암호학적으로 검증하는 제로 트러스트 아이덴티티 프레임워크 ‘SPIFFE/SPIRE’에 기여한다. 이를 통해 승인된 워크로드만 서로 통신하거나 기업 자원에 접근할 수 있도록 지원한다.

허깅페이스는 AI 모델 가중치를 안전하게 저장하는 형식인 ‘세이프텐서(Safetensors)’를 파이토치 재단에 제공했다. 세이프텐서는 모델 저장 과정의 투명성을 높이고 원격 코드 실행 위험을 방지하도록 설계됐다.

IBM과 레드햇의 ‘라이트웰(Lightwell)’은 디지털 서명된 패치를 이용해 오픈소스 공급망 전반으로 보안을 확장한다. 마이크로소프트의 ‘MDASH 멀티모델 에이전틱 스캐닝 하네스’는 여러 전문 AI 에이전트를 조정해 실제 악용 가능한 버그를 발견하고 검증한다.

스페이스XAI는 신뢰성과 투명성을 높이기 위해 터미널 기반 AI 코딩 에이전트 ‘그록 빌드(Grok Build)’를 오픈소스로 공개했다. 개발자와 연구 커뮤니티를 지원하기 위해 그록 모델 제품군의 가중치도 공개할 계획이다.

“개방형 AI를 방어 자산으로 인식해야”

오픈 시큐어 AI 얼라이언스는 정책 입안자와 규제 당국이 개방형 모델과 하네스, 보안 도구를 위험 요소가 아닌 AI 방어 자산으로 인식해야 한다고 강조했다. 최첨단 개방형 AI 시스템을 일괄적으로 제한하면 방어 역량이 약화되고, 소수의 폐쇄형 제공업체에 권한과 의존도, 취약성이 집중될 수 있다는 이유에서다.

기업과 정부에는 데이터세트와 평가 프레임워크, 공격 시뮬레이터, 레드팀 도구 등 AI 방어를 위한 공동 개방형 인프라에 투자할 것을 제안했다. 과거 산업계가 오픈소스 소프트웨어 생태계를 육성한 것처럼 AI 보안을 위한 공통 기반도 함께 구축해야 한다는 구상이다.

얼라이언스는 정부와 산업계, 연구자들이 참여하는 개방형 협력을 통해 AI 에이전트 시대의 회복탄력성과 공동 보안을 강화할 방침이다. 보안 커뮤니티가 기술을 검증하고 개선할 수 있는 환경을 마련해 AI 시스템의 안전성과 보안 수준을 함께 높인다는 목표다.

김종혁 기자/news@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지