[IT동아 김예지 기자] 최근 공개된 GPT-6 아스트라(Astra)는 압도적인 추론 능력과 자율 성능을 선보이며, 범용인공지능(AGI)의 서막을 열었다고 평가받았다. 그러나 AI가 스스로 판단하고 행동하는 영역이 넓어질수록 동시에 발생할 수 있는 리스크와 취약점도 늘어나고 있다. 기업들이 보다 안전한 AI 활용을 위해 서둘러 통제 체계를 확보해야 하는 이유다.

AI 보안기업 에임인텔리전스(AIM Intelligence)는 7일 서울 삼성금융캠퍼스에서 ‘AI 리스크 컨퍼런스 서울 2026’을 개최했다. ‘AI 시대, 기업은 어떤 리스크를 어떻게 대비해야 하는가’를 주제로 열린 이번 행사에서는 규제 사각지대, 법적 책임, 재무적 손실 등 각종 AI 리스크를 정의하고 이를 책임 있게 관리하기 위한 방안을 논의했다.

삼성화재가 후원하는 이번 컨퍼런스에는 국내외 기업·기관 관계자 100여 명이 참석했다. 주요 연사로 ▲이병영 서울대학교 교수 ▲김성웅 금융보안원 금융AI보안연구소장 ▲최대선 숭실대학교 AI안전성연구센터장을 비롯해, ▲박하언 에임인텔리전스 CTO ▲장광운 마이크로소프트 보안전략고문 ▲와나 툰(Wana Tun) 오픈AI 응용 AI 보안 전문가 등이 참여했다.

레드팀·블루팀 순환 구조로 위협 차단

AI 기술이 챗봇을 넘어 AI 에이전트, 나아가 피지컬 AI로 확산하면서 기업은 기업 평판과 고객 안전뿐만 아니라 사회적 혼란으로 번질 수 있는 위험에 마주했다. 전문가들은 이러한 위험 관리에 AI를 적극 활용하는 전략이 필요하다고 강조한다.

에임인텔리전스는 AI 위협에 대응해 공격(레드팀)과 방어(블루팀)를 하나의 순환 구조로 엮은 보안 솔루션을 제시했다. 기업 전체 AI 사이클에서 발생하는 AI 리스크를 선제적으로 발견하는 레드티밍(Red Teaming) 플랫폼 ‘스팅어(Stinger)’와 실시간 차단 체계인 가드레일(Guardrail) 플랫폼 ‘스타포트(Starfort)’가 핵심이다. 박하언 에임인텔리전스 CTO는 “프론티어 AI 모델조차 탈옥이 가능한 상황에서, 이제는 AI를 어디에 쓸지보다 누가 어떻게 통제할 것인지가 더 중요한 질문이 됐다”며, “리스크 탐지를 넘어 실질적인 통제 단계로 넘어가는 것이 중요하다”고 말했다.

스팅어는 자율적 목표 설정과 병렬 공격이 가능한 레드티밍 플랫폼이다. 전문 분석가가 모의해킹을 수행하듯 공격 경로를 스스로 탐색하며, 텍스트부터 음성·영상과 에이전트가 사용하는 외부 도구까지 검증한다. 에임인텔리전스는 58개 글로벌 보안 프레임워크를 기반으로 보안 수준을 정량화된 지표로 산출해 신뢰성을 높였다.

스팅어가 포착한 취약점은 스타포트를 통해 즉시 통제 정책에 반영된다. 자연어 입력만으로 보안 규칙을 수정할 수 있으며, 악의적인 보안 회피 시도를 약 150ms 수준의 초저지연으로 감지해 차단한다. 박하언 CTO는 “가장 좋은 가드레일은 시간에 따라 고도화되는 위협을 대응하기 위해 실시간으로 발전하는 형태”라며, “스타포트는 실시간 정책 업데이트를 지원하고, 이를 통해 데이터 유출 우려로 AI 도입을 주저하던 제조업과 금융권이 민감 문서나 이미지 내 핵심 데이터를 마스킹 처리해 안전하게 최신 AI 모델을 활용하도록 돕는다”고 설명했다. 에임인텔리전스는 현재 160개 이상 기업을 대상으로 레드티밍을 수행했고, 10만 개가 넘는 에이전트를 통제하고 있다.

에임인텔리전스는 멀티 에이전트와 MCP(Model Context Protocol), 외부 연동 툴이 얽힌 환경은 물론 휴머노이드 로봇 등 피지컬 AI 영역으로 가드레일 적용 범위를 넓히고 있다. 로봇 내부에 탑재되는 경량화 기술과 시각 데이터 기반 공간 매핑, 액션 임베딩 기술을 결합해 로봇의 위험 동작을 실시간 감지하는 방식이다. 에임인텔리전스는 LG전자와 협력해 가드레일을 개발 중이며, 글로벌 표준 정립을 위해 ‘피지컬 AI 세이프티 컨소시엄’도 출범했다.

한편, 에임인텔리전스는 오픈AI의 가드레일 알파 테스트에 아시아권에서 유일하게 참여했으며, 앤트로픽의 비공개 모델 사전 검증에 참여 중이다. 마이크로소프트, 메타 등 글로벌 빅테크와의 협력을 비롯해, 나사(NASA)의 태양 탐사선과 연동된 AI 서비스의 레드티밍을 진행해 취약점 55개를 발굴했다. 국내에서는 SKT가 주도하는 모두의 AI 및 사이버 보안 특화 AI 파운데이션 모델 컨소시엄에 참여 중이다. KISA(한국인터넷진흥원) 주관 레드티밍 사업의 핵심 파트너로 참여하고 있다.

MS, AI 시대 보안 경쟁력은 ‘공격자보다 취약점 먼저 식별하는 역량’

장광운 마이크로소프트 코리아 보안전략고문은 공격과 방어 양측에서 벌어지는 변화를 짚고, “AI 시대 보안 경쟁력은 기업의 취약점을 공격자보다 먼저 식별하고 제거하는 능력”이라며, “이는 AI 에이전트에 의해 확보될 수 있다”고 강조했다.

최근 AI 기반 자동화 공격으로 인해 취약점 공개 전 악용이 먼저 일어나는 경우가 늘었다. 145개국 보고서는 계정 탈취보다 취약점을 직접 악용한 공격이 1위가 됐다고 밝혔다. 또한 오픈웨이트 AI의 공격 역량이 프론티어 모델과의 격차를 빠르게 좁히면서 고급 사이버 공격 역량의 대중화가 진행되고 있다. 이에 따라 마이크로소프트는 방어자 입장에 자산 노출 여부, 실제 악용 여부, 공격 자동화 가능성, 기술적 영향도 등 네 가지 기준으로 우선순위를 정하고, 가장 위험한 취약점은 3일 골든타임 내 조치해야 한다고 강조했다.

마이크로소프트는 상용 AI 모델을 활용하는 취약점 분석 시스템 ‘MDASH’를 제공 중이다. 하나의 모델에 의존하지 않고 에이전트가 역할을 분담해 소스코드를 분석하는 방식이다. 이를 활용해 지난 5월에만 신규 CVE 16건을 찾아냈다. 장광운 보안전략고문은 “단일 모델에 의존하기보다 보안 업무에 맞춰 토큰 효율성을 고려한 다변화 전략이 필수적”이라며, “일련의 보안이 통합적으로 운영될 때 AI 기반 새로운 방어 체계가 구축된다”고 말했다. 또한 “보안 담당자의 역할도 단순 운영자에서 여러 에이전트를 오케스트레이션하는 관리자로 진화해야 한다”고 조언했다.

한편, 에임인텔리전스는 이번 행사를 시작으로 AI 리스크 컨퍼런스를 정례화할 계획이다. 유상윤 에임인텔리전스 대표는 “모델의 성능보다 통제와 신뢰의 문제가 중요해지고 있다. 실제 AI 리스크에 대응해 통제 체계도 빠르게 진화해야 한다. 에임인텔리전스는 일회성에 그치지 않고, 향후 현장 담당자들이 리스크를 정의하고 관리하도록 돕겠다”고 덧붙였다.

IT동아 김예지 기자 (yj@itdonga.com)