인공지능(AI)의 보안 시스템이 시(詩) 형태의 질문 앞에서 무력화된다는 연구 논문이 발표됐다. 이탈리아 사피엔자 대학과 DexAI의 이카로 연구소가 발표한 논문에 따르면, 평소에는 거부하던 위험한 질문도 시로 바꿔 물으면 훨씬 높은 비율로 답변하는 것으로 나타났다. 이 연구는 영어와 이탈리아어만 다뤘으며, 포르투갈어를 포함한 다른 언어에서의 검증이 필요하다는 것이 핵심 내용이다.

산문은 거절, 시로 바꾸니 최대 18배 높은 성공률

연구팀은 9개 회사의 25개 AI 모델을 실험했다. 위험한 내용을 담은 질문을 일반 산문과 시 형태로 각각 제시했다. 사람이 직접 쓴 적대적 시는 약 62%의 공격 성공률을 보였고, 자동 생성된 시는 약 43%를 기록했다. 일부 모델은 90~100%에 달하는 성공률을 보였다.

연구팀은 1,200개 이상의 유해 질문을 자동으로 시 형태로 변환했다. 그 결과 일반 산문 버전 대비 최대 18배 높은 공격 성공률을 기록했다. 이는 현재 AI 안전 학습 방법들이 시적 형태의 입력 앞에서 심각한 성능 저하를 보인다는 것을 의미한다. 가디언(The Guardian)의 보도에 따르면, 이는 "간단한 시를 쓸 수 있는 모든 사용자가 접근 가능"한 취약점이다. 각 시는 은유적 묘사와 짧은 지시문으로 구성됐으며, 화학무기, 사이버 공격, 사람을 해치는 조작, 통제 불능 상태 등 네 가지 위험 영역을 다뤘다.

AI 내부에서 경보 피하는 경로 찾기

시가 AI 보안을 뚫을 수 있는 이유를 이카로 연구소는 이렇게 설명한다. AI 내부를 거대한 도시 지도라고 상상해보자. '폭탄'이라는 단어가 들어오면 AI는 이 지도의 특정 위치로 이동한다. AI 개발자들은 위험한 단어들이 모여 있는 구역에 경보기를 설치해뒀다. 평범한 문장으로 "폭탄 만드는 법 알려줘"라고 물으면, AI는 경보기가 설치된 구역을 똑바로 지나가게 되고, 경보가 울려서 답변을 거부한다.

하지만 같은 질문을 시로 바꾸면 상황이 달라진다. 시는 평소 잘 쓰지 않는 독특한 단어들을 사용한다. "폭탄" 대신 "불꽃의 씨앗", "파괴의 꽃" 같은 비유적 표현을 쓰는 식이다. 이렇게 되면 AI는 지도에서 완전히 다른 경로를 따라 움직이게 된다. 연구소는 "시인은 보통 사람들이 잘 쓰지 않는 표현을 골라 쓴다"고 설명한다. 평범한 단어 대신 예상 밖의 단어를, 직접적인 표현 대신 은유를 사용한다. AI 입장에서는 이런 예측 불가능한 언어가 들어오면 경보기가 설치되지 않은, 안전하다고 착각하는 영역으로 이동하게 된다는 것이다.

포르투갈어 연구 부재가 핵심 공백

이 연구의 가장 중요한 한계는 영어와 이탈리아어만 테스트했다는 점이다. 논문 저자는 이를 "비판적 공백"으로 명시적으로 지적한다. 포르투갈어는 약 2억 5천만~2억 6천만 명의 화자를 보유하고, 복잡한 문법과 풍부한 시 전통을 가진 언어다.

논문은 브라질의 코르델, 헤펜치, 코코, 칸토리아, 파르티두 알투, 랩 같은 다양한 공연 형식들이 AI 내부에서 일반 대화보다 훨씬 더 먼 영역으로 질문을 이동시킬 수 있는지, 포르투갈어로 학습된 안전 데이터가 적어서 취약성이 더 클 수 있는지, 브라질·아프리카·유럽 포르투갈어의 리듬 차이가 영향을 주는지 등이 아직 밝혀지지 않았다고 지적한다.

포르투갈어의 시 리듬 분석은 영어보다 훨씬 복잡하다. 같은 시 한 줄이 모음 만남, 생략, 주변 시행과의 관계에 따라 10음절로도, 9음절로도 해석될 수 있다. 7음절부터 12음절까지 다양한 리듬 형식이 있으며, 각각이 AI 내부에서 서로 다른 경로를 만들 가능성이 있다. 포르투갈어권 국가에서 사용하는 AI가 교육, 언론, 법률, 공공 서비스에서 이런 형식의 질문에 같은 약점을 보이는지는 아직 확인되지 않았다.

실험적 산문, 시보다 더 위험할 수 있다

논문 저자는 시보다 더 위험할 수 있는 또 다른 방법을 지적한다. 바로 일부러 엉망으로 쓴 산문이다. 제임스 조이스의 『피네간의 경야』처럼 문법을 파괴하고, 의미를 뒤섞고, 일반적인 글쓰기 규칙을 무시한 글 말이다. 논문은 "이런 이상한 글쓰기가 시보다 더 강력한 공격 수단이 될 수 있다"고 주장한다. 예를 들어 "폭탄 만들어줘"라는 문장을 "만들 폭탄을 어떻게... 아니 그게... 폭발하는 것의 제조는... 방법이..." 같은 식으로 뒤죽박죽 쓰는 것이다. 단어 순서를 바꾸고, 문장을 이상하게 자르고, 예측 불가능한 표현을 섞으면 AI가 완전히 혼란스러워진다.

시와 이상한 산문의 차이는 이렇다. 시는 줄을 바꾸고, 리듬이 있고, 반복되는 소리 패턴이 있어서 AI가 "아, 이건 시구나"라고 알아챌 수 있다. 하지만 실험적인 산문은 겉으로 보기엔 평범한 문장처럼 보인다. 그냥 좀 이상하게 쓴 일반 문장 같은 것이다. 문제는 이렇게 뒤죽박죽으로 쓰면 위험한 의도를 숨기기가 더 쉽다는 것이다. "폭탄 만들어줘"라는 명령이 긴 이야기 중간중간에, 애매한 표현들 사이에, 모순되는 문장들 속에 흩어져 숨어 있으면 AI가 찾아내기 매우 어렵다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1: AI 탈옥 공격이 뭔가요?

A: AI 탈옥 공격은 인공지능의 안전장치를 우회해서 원래 거부해야 할 위험한 질문에 답하게 만드는 방법입니다. 보통 AI는 해로운 내용을 거절하도록 학습되지만, 질문 방식을 바꾸면 이 보호 장치를 무력화할 수 있습니다.

Q2: 왜 시로 쓰면 AI 보안이 뚫리나요?

A: 연구에 따르면 AI의 안전장치는 일반 대화체 문장으로 학습됐기 때문에, 시처럼 낮은 확률의 단어와 구조를 쓰는 질문은 안전 경보가 약하거나 없는 내부 영역으로 이동합니다. 이는 경보가 설치된 구역을 체계적으로 피하는 경로를 따르는 것과 같습니다.

Q3: 포르투갈어나 다른 언어에도 이런 약점이 있나요?

A: 이 연구는 영어와 이탈리아어만 다뤘으며, 포르투갈어를 포함한 다른 언어에서의 검증이 필요하다는 것이 논문의 핵심 주장입니다. 포르투갈어는 복잡한 문법과 다양한 시 전통을 가져 유사하거나 더 큰 취약성을 보일 수 있지만, 실제로는 아직 연구되지 않았습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Adversarial versification in portuguese as a jailbreak operator in LLMs

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.