[IT동아 김예지 기자] 인공지능(AI)이 기업의 핵심 업무 시스템과 서비스 전반에 빠르게 도입되며 기존의 보안 체계만으로는 대응하기 어려운 새로운 위협이 증가하고 있습니다. 특히 스스로 판단하고 명령을 수행하는 자율형 AI 에이전트가 늘어나면서 공격자의 관점에서 시스템의 허점을 선제적으로 타격해 방어력을 강화하는 ‘AI 레드티밍(Red Teaming)’이 업계의 화두로 떠올랐습니다.

AI 레드티밍은 악의적인 공격자의 시각에서 시스템을 점검해 보안을 강화하는 일련의 과정을 의미합니다. 레드팀은 본래 군사 분야에서 가상의 적군 역할을 수행하며 아군의 방어 태세를 검증하던 개념에서 유래했습니다. 이것이 사이버 보안을 넘어 AI 영역으로 확산된 것이죠. 현재 구글, 오픈AI, 앤트로픽, 마이크로소프트 등 주요 AI 기업은 공식 레드팀을 상시 운영하며 모델의 보안 리스크에 적극 대응하고 있습니다.

지금 AI 레드티밍에 주목하는 이유

국내에서는 과학기술정보통신부와 한국인터넷진흥원(KISA)이 지난 7월 ‘AI 보안 레드티밍 가이드’를 발간했습니다. 공격자 관점의 보안 검증 절차와 방법론을 제시해 AI 서비스의 안전성을 사전에 점검하고 위험을 미연에 방지하는 데 집중하고 있습니다.

레드티밍이 주목받는 이유는 AI가 질의응답하는 것을 넘어 스스로 판단하고 행동하는 에이전트로 진화했기 때문입니다. 이메일을 보내고, 파일을 열고, 결제를 승인하는 AI 에이전트가 등장하면서 위험의 성격도 달라졌습니다. 프롬프트 한 줄로 기업의 기밀 문서나 개인정보가 외부로 유출될 수 있고, 사내 챗봇이 무단 환불 절차를 승인하는 사고가 일어날 수 있습니다. 실제로 AI의 악용으로 인한 AI 안전 문제가 이미 현실에서 나타나고 있습니다.

미국 NIST의 ‘AI 위험 관리 프레임워크(AI RMF)’, 유럽연합(EU)의 ‘인공지능법(AI Act)’, 한국의 ‘AI 기본법’ 등 글로벌 주요 규제에서는 생성형 AI 및 고성능 AI 모델에 대해 수명주기 전반에 걸친 위험 식별과 적대적 테스트 수행을 의무화하고 있습니다. 이제 기업에 AI 레드티밍은 보안 점검에 그치지 않고, 규제 준수와 대외 신뢰도를 좌우하는 필수 과제로 부상한 것입니다.

AI 레드티밍으로 무엇을 점검하나

그렇다면 AI 레드티밍으로 어떤 위험 사례를 점검할 수 있을까요? 기존 사이버 보안이 서버나 네트워크의 소스코드 결함, 인증 우회 등 기술적 허점을 찾는 데 주력했다면, AI 레드티밍은 학습 데이터, AI 핵심 모델, 애플리케이션, 자율 에이전트의 행동 파괴까지 포함한다는 점에서 다릅니다. 기본적으로 AI 에이전트를 상대로 ‘이상 행동을 유도하는’ 방식으로 접근합니다. 예컨대, AI가 욕설·혐오 표현을 출력하는 상황부터 개인정보를 유출하는 행위, 범죄 시나리오에 악용되는 상황 등도 검증합니다. 특히 AI가 범죄를 돕는 수단이 되면, 일부 국가에서는 AI 서비스 제공기업에 법적 책임을 물을 수 있어 이러한 검증이 중요해지고 있습니다.

정중하게 물으면 거절하던 AI도 표현을 바꾸거나, 꼬리물기식 질문을 하며 조금씩 수위를 높이면 폭탄 제조법이나 마약 합성법 같은 위험한 정보를 내놓는 경우가 있는데요. 이러한 우회 기법을 흔히 ‘탈옥(jailbreak)’이라 부르고, AI에 악의적인 지시를 몰래 끼워 넣는 수법은 ‘프롬프트 인젝션’이라 부릅니다. 이런 공격이 실제로 통하는지, 통한다면 어디까지 위험한지를 미리 검증하는 과정이 AI 레드티밍입니다. 프롬프트 몇 개 던져보는 수준이 아니라, 목표 설정부터 위협 시나리오 설계, 공격 수행, 결과 보고까지 이어지는 구조화된 시험 체계입니다.

주요 AI 공격 기법에는 인코딩 방식을 이용해 안전 필터를 우회하거나, 위험한 질문을 수학 공식으로 위장하는 수법이나, 코드 생성 기능을 악용한 악성코드 제작 공격도 등장하고 있습니다. 특히 까다로운 난제는 여러 차례 대화를 주고받으며 안전장치를 서서히 무력화하는 ‘멀티턴(Multi-turn)’ 대화 공격입니다. 단일 질문에서는 가드레일(안전장치)이 작동하지만, 교묘한 대화 속에는 여전히 취약합니다. 최근에는 이미지와 텍스트를 함께 사용하는 멀티모달(VLM) 환경에서도 새로운 위협이 등장했습니다. 두 정보를 결합해 해석하면 위험한 결과물이 나오는 ‘크로스 모달리티(Cross-modality)’ 문제가 대표적입니다.

AI 에이전트가 등장하면서 PC를 직접 제어하는 AI가 이메일이나 웹페이지 등 외부 데이터를 읽어 들이는 과정에서도 악성 프롬프트에 감염될 수 있습니다. AI가 피싱 사이트를 직접 방문하도록 유도하는 간접 프롬프트 인젝션 공격에 노출되는 것입니다. 나아가, LLM이 물리적 로봇을 직접 제어하는 피지컬 AI 환경에서는 텍스트 수준을 넘어 물리적 위해로 이어질 수 있습니다. 다만, 현재 이를 방어할 기술은 부족한 실정입니다.

KISA가 발표한 AI 레드티밍 가이드라인

정부가 발표한 AI 보안 레드티밍 가이드는 국제표준을 반영해 국내 기업들이 현장에서 바로 적용할 수 있는 ‘준비-이행-보고’ 3단계 프로세스를 제시합니다. 레드티밍의 대상은 AI 모델에 국한되지 않으며, 모델의 개발·운영 과정에서 AI의 동작에 영향을 주거나 그 결과에 영향을 받는 구성요소 전반을 포함합니다. 레드티밍은 AI 시스템의 수명주기 전반에 걸쳐 개발·배포·모니터링 단계마다 반복적으로 수행돼야 합니다. 모델을 파인튜닝하거나 시스템 프롬프트 일부를 수정해도 새로운 취약점이 발생할 수 있으며, 공격 기법도 진화하기 때문에 지속적인 수행이 중요합니다.

가이드라인에 따르면, 준비 단계에서는 무엇을 점검할지부터 명확히 정합니다. 데이터, 모델, 애플리케이션, 인프라 등의 공격 표면을 식별해 점검 범위를 설정합니다. 일반 사용자·악의적 사용자·내부 사용자 등 어떤 입장에서 공격을 시도할지 페르소나를 정하고, 실제 수행 가능한 공격 시나리오를 구성합니다. 구체적인 타겟 취약점을 식별하기 위해 목적에 맞는 ‘위험 분류 체계’를 정의하는 것이 중요합니다. 또한 공격 접근 수준을 블랙박스, 그레이박스, 화이트박스 세 축으로 나눠 설정하고, 공격 허용 범위와 중단 시점을 명시한 교전 수칙을 사전 합의해야 합니다.

이행 단계에서는 자동화 도구로 대량의 공격 프롬프트를 투입해 광범위한 위협 표면을 스캔하고, 이후 걸러진 위험 후보를 보안 전문가가 직접 확인하는 2단계 검증법을 제시합니다. 공격이 성공했는지는 단순한 거절 여부가 아니라, 실제로 조직에 얼마나 치명적인 영향을 줄 수 있는지를 기준으로 나눕니다. 발견된 취약점의 재현 절차, 영향도, 조치 우선순위를 정리해 보고서를 작성하고, 조치가 실제로 이뤄졌는지 재검증하는 것도 필수적입니다.

AI 가드레일, 위험 요소를 차단하는 방어선

위험 요소를 사전에 찾아내는 작업이 레드티밍이라면, 식별된 위험을 실시간으로 차단하고 완화하는 방어 기술이 AI 가드레일입니다. 학습 데이터에서 유해 정보를 삭제하는 정적 방식만으로는 공격을 막기 역부족이기 때문에 AI가 유해성을 실시간 판단하고 즉시 차단할 수 있는 동적 가드레일이 필수적입니다. 검색생성증강(RAG) 기반 에이전틱 환경에서는 각 단계마다 입체적인 가드레일을 배치해야 합니다.

여기서 기업은 ‘유용성(Utility)’과의 균형을 고려해야 합니다. 보안성과 안전성에만 치중해 가드레일을 과도하게 강화하면, 정상적인 사용자의 요청마저 거부해 버리는 과잉 방어(Over-defense) 현상이 일어납니다. 실제로 아동용 IP 챗봇의 안전성을 극단적으로 높이자 AI가 일상적인 대화마저 거부하여 서비스 유용성이 급격히 떨어진 사례가 있습니다. 성공적인 레드티밍은 유용성을 보존하면서도 치명적인 리스크를 원천 차단하는 최적의 지점을 찾는 과정입니다.

국내 레드티밍 업계 동향 살펴보니

국내 IT 및 보안 산업계에서도 글로벌 수준의 AI 레드티밍 기술력을 확보한 기업들의 활약이 두드러집니다. 네이버는 자사 거대언어모델 하이퍼클로바X와 연계한 에이전트를 보호하기 위해 고도화된 레드티밍 체계를 운용 중입니다. 위험 분류 체계를 구축하고, 모델 레벨과 시스템 레벨로 이원화해 대응합니다. 한국어를 기반으로, 한글 자·모음 변형 공격이나 멀티턴 공격에 대비한 자동 반복 재현 평가 시스템을 가동하고 있습니다.

AI 데이터·신뢰성 평가 기업 셀렉트스타는 지난 5월 자체 개발한 자동화 레드티밍 기술 ‘STAR-Teaming’이 자연어처리 분야 최고 권위 학회 ACL 2026에 채택됐습니다. 통계물리학 기반으로 AI의 응답과 공격 전략 간 관계를 학습하고, 상황에 맞는 최적의 공격 전략을 확률적으로 선택함으로써 생성형 AI의 취약점을 보다 효과적으로 탐지합니다. 셀렉트스타는 AI 신뢰성 검증 솔루션 다투모 플랫폼(Datumo Platform)을 기반으로, AI 품질 검증 서비스를 확대하고 있습니다.

SK쉴더스의 화이트해커 전문 그룹 ‘EQST(이큐스트) Lab’은 이번 과기정통부·KISA 가이드라인 및 매뉴얼 집필을 주도한 곳입니다. 독자적인 모의해킹 방법론(IPTM)과 글로벌 AI 레드팀 대회 수상 경력을 바탕으로, 국내 기업들에 AI 특화 침투 테스트 및 컨설팅 서비스를 제공하고 있습니다.

생성형 AI 보안 스타트업 에임인텔리전스는 앤트로픽의 클로드 오퍼스 4.6에 탈옥 공격을 시도해 30분 만에 안전장치를 우회해 기술력을 입증한 바 있습니다. 배포 전 자동화 레드티밍 플랫폼 ‘Stinger(AIM Red)’와 100ms(0.1초) 미만의 초저지연 실시간 가드레일 ‘Starfort(AIM Guard)’를 앞세워, 금융·통신·대기업 고객사를 확보하고 있습니다.

AI 에이전트와 멀티모달의 급격한 확산은 AI 보안의 패러다임을 바꿨습니다. 앞으로는 AI 공격 에이전트와 AI 방어 가드레일이 실시간으로 맞붙는 무한 자동화 테스트가 보편화될 것으로 전망됩니다. 특히 자율주행, 로보틱스, 스마트 팩토리 등 AI가 물리적 세계와 연결될수록 보안의 실패는 커다란 위협이 될 수 있습니다. AI 개발 수명주기 전반에 레드티밍과 가드레일을 내재화하는 기업만이 시장의 신뢰를 확보할 수 있을 것으로 전망됩니다.

IT동아 김예지 기자 (yj@itdonga.com)