Lessons from red teaming 100 generative AI products

AI 레드팀이 발견한 8가지 핵심 교훈

마이크로소프트 AI 레드팀(AIRT)이 100개 이상의 생성형 AI 제품을 테스트한 결과를 담은 보고서에 따르면, AI 시스템의 안전성과 보안성 평가를 위해서는 시스템의 기능과 적용 범위에 대한 이해가 선행되어야 한다. 연구팀은 AI 시스템 테스트를 통해 얻은 8가지 주요 교훈을 공개했다. 여기에는 AI 시스템의 기능과 적용 범위 이해, 단순한 기법의 효과성, 보안 벤치마크와의 차별성, 자동화의 중요성, 인간 요소의 필수성, RAI(Responsible AI) 위험의 만연성과 측정의 어려움, LLM이 보안 위험을 증폭시키는 특성, 그리고 AI 시스템 보안의 지속적인 발전 필요성이 포함됐다.

급변하는 AI 보안 위험 지형도

보고서는 AI 보안 테스트의 양상이 크게 변화했음을 보여준다. 2021년에는 보안 취약점 평가가 80%를 차지했으나, 2024년에는 안전성 평가가 80%까지 증가했다. 특히 챗GPT 출시 이후 등장한 AI 코파일럿은 LLM을 다른 소프트웨어 구성 요소와 연결하는 새로운 패러다임을 가져왔다. 현재 AI 레드팀은 모델(24%), 코파일럿(15%), 플러그인(16%), 앱 및 기능(45%) 등 다양한 형태의 AI 제품을 테스트하고 있다.

자동화와 인간 전문성의 조화

연구팀은 복잡해진 위험 평가를 위해 PyRIT이라는 오픈소스 프레임워크를 개발했다. 이 도구는 프롬프트 데이터셋, 자동화된 공격 전략, 다중모달 출력 평가 등 다양한 기능을 제공한다. 그러나 의학, 사이버보안, CBRN(화생방) 등 전문 분야에서는 자동화된 평가만으로는 불충분하며, 해당 분야 전문가의 직접적인 평가가 필수적이라고 강조했다.

실제 사례로 본 AI 시스템의 취약점

연구팀은 여러 실제 사례를 통해 AI 시스템의 취약점을 입증했다. 비전 언어 모델(VLM)에서 이미지를 통한 제어 우회, 텍스트 생성 모델의 성별 편향성, 영상 처리 AI의 SSRF 취약점 등이 발견됐다. 특히 음성합성(TTS)과 결합된 LLM이 사용자를 속이는 시나리오를 시연했는데, 이는 금전적 손실이나 신분 도용으로 이어질 수 있다고 경고했다.

RAI와 보안의 새로운 도전과제

보고서는 RAI 관련 위험이 보안 취약점과 달리 주관적이고 측정이 어렵다는 점을 지적했다. 특히 의도적인 공격자뿐만 아니라 선의의 사용자도 의도치 않게 유해한 콘텐츠를 생성할 수 있다는 점이 강조됐다. 또한 대부분의 AI 연구가 서구 문화권에서 이루어지고 있어, 다른 문화권에서의 위험성 평가를 위해서는 다양한 배경을 가진 전문가들의 협력이 필요하다고 제언했다.

AI 시스템 보안의 미래 과제

연구팀은 AI 시스템의 완벽한 보안은 불가능하며, 대신 공격 비용을 높이는 것이 현실적인 목표라고 제시했다. 이를 위해 '파괴-수정' 주기를 통한 지속적인 개선, 보안 관행 강화를 위한 규제, 방어 중심 설계 등이 필요하다고 강조했다. 현재의 프롬프트 주입 공격이 초기 버퍼 오버플로우처럼 궁극적으로는 광범위하게 완화될 것으로 전망했다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.