AI의 머릿속을 들여다보는 도구를 크게 키웠더니 오히려 뜻밖의 고장이 생겼다. ‘수학’이라는 하나의 개념이 ‘대수’, ‘기하’처럼 잘게 쪼개지고, ‘S로 시작하는 단어’라는 규칙에서 ‘short’와 ‘small’만 쏙 빠져 구멍이 생기는 식이다. 중국과학기술대학교와 인민대학교 가오링 인공지능대학원 공동 연구팀이 2026년 6월 발표한 논문은 이 두 가지 고장을 하나의 원인으로 묶어 설명하고, C2R(교차 샘플 일관성 정규화)이라는 해법을 제시했다. AI가 스스로 무엇을 근거로 판단하는지 정확히 읽어내는 일은 AI의 안전성을 검증하는 첫 단추인데, 이 도구가 고장 나면 AI를 감시하는 눈 자체가 흐려진다. 그래서 이 문제는 연구실 안의 기술 논쟁을 넘어선다.

AI 해석 도구를 키웠더니 개념이 조각나는 역설

희소 오토인코더(SAE)는 AI가 복잡한 생각을 어떤 요소들로 나눠서 하는지 사람이 알아볼 수 있게 풀어주는 도구다. 쉽게 말해 AI의 머릿속이라는 뿌연 안개를 ‘이건 수학 생각, 저건 요리 생각’ 하는 식으로 또렷한 조각으로 나눠 보여주는 장치다. 이상적으로는 조각 하나가 개념 하나에 딱 맞아떨어져야 한다. 그런데 이 도구가 나눌 수 있는 조각의 개수(사전 크기)를 크게 늘리면, 오히려 두 가지 고질적인 고장이 나타난다. 논문은 이를 특징 쪼개짐(feature splitting)과 특징 흡수(feature absorption)라고 부른다.

특징 쪼개짐이란 원래 하나로 묶여야 할 큰 개념이 지나치게 잘게 부서지는 현상을 말한다. 예를 들어 ‘수학’이라는 하나의 특징이 ‘대수’, ‘기하’처럼 여러 개의 작은 조각으로 흩어져 버린다. 각 조각은 나름대로 말이 되지만, 정작 AI가 실제로 사용하는 ‘수학’이라는 큰 개념이 어디에 있는지 흐려진다. 마치 ‘과일’ 서랍 하나면 충분한데 ‘사과 서랍’, ‘배 서랍’, ‘귤 서랍’을 따로 만들어 정작 ‘과일’이라는 분류 자체를 잃어버리는 셈이다.

‘S로 시작하는 단어’에서 short만 빠지는 구멍

특징 흡수란 넓은 규칙을 담은 조각에서 특정 단어만 쏙 빠져나가 예외의 구멍이 생기는 현상을 말한다. 논문이 든 대표적인 예가 ‘S로 시작하는 단어’를 담당하는 조각이다. 이 조각은 당연히 ‘short’나 ‘small’에도 반응해야 하는데, 실제로는 이 단어들에 반응하지 않는 경우가 생긴다. ‘short’만 따로 담당하는 별도 조각이 그 신호를 먼저 가로채 흡수해 버리기 때문이다. 결과적으로 원래 규칙은 ‘S로 시작하는 단어(단, short와 small은 제외)’라는 이상한 형태로 뒤틀린다.

이런 뒤틀림이 왜 심각한지는 연구자의 입장에서 보면 분명해진다. AI가 왜 어떤 답을 내놨는지 추적하려고 머릿속을 열어봤더니 ‘S로 시작하는 단어’ 규칙이 정작 흔한 단어 몇 개를 빠뜨리고 있다면, 연구자는 AI가 그 규칙을 제대로 쓰고 있는지조차 신뢰할 수 없다. 논문에 따르면 이 흡수 현상은 수백 개의 대형 언어모델 SAE에 영향을 미치고 있으며, 쪼개짐은 모델이 커질수록 더 심해진다. AI의 판단 근거를 밝히는 인과 분석이나 회로 발견 같은 핵심 작업이 이 고장 때문에 흔들린다.

원인은 ‘AI가 게을러서’였다, 한 표를 아끼려는 선택

연구팀이 밝힌 두 고장의 공통 원인은 AI가 조각을 최대한 적게 쓰려다 벌어지는 ‘한 표 아끼기’다. 기존 방식은 문장 하나하나를 처리할 때마다 켜지는 조각의 수를 최대한 줄이도록 훈련한다. 그런데 이 규칙에는 함정이 있다. ‘수학’과 ‘대수’를 둘 다 켜는 것보다, 아예 ‘대수’라는 조각 하나에 수학 신호까지 몰아넣어 켜는 편이 조각을 덜 쓰는 길이 되는 것이다.

논문은 이를 수학적으로 증명했다. 두 개의 서로 직각을 이루는 조각으로 정확히 나눠 담으려면 조각 두 개를 켜야 하지만(사용량 2), 신호를 한쪽 조각에 몰아넣어 섞어버리면 조각 하나만 켜면 된다(사용량 1). 조각 하나를 아낀 그 여유분으로 다른 개념을 더 잘 복원할 수 있으니, AI 입장에서는 개념을 뒤섞는 쪽이 이득인 셈이다. 결국 ‘조각을 적게 쓰라’는 착한 명령이 역설적으로 개념을 뒤섞으라는 압력으로 작동한 것이다. 문제의 뿌리는 AI가 문장을 하나씩 따로 볼 뿐, 여러 문장에 걸쳐 ‘이 개념은 항상 같은 조각에 담아라’라는 일관성 규칙이 없다는 데 있었다.

C2R, 여러 문장을 한꺼번에 보게 만든 해법

C2R(교차 샘플 일관성 정규화)이란 AI가 문장 하나가 아니라 여러 문장을 한 묶음으로 놓고 보면서, 같은 개념은 항상 같은 조각에 담도록 강제하는 훈련 방법이다. 핵심 아이디어는 의외로 직관적이다. 방향이 비슷한 두 조각이 자꾸 함께 켜지면 벌점을 준다. 흩어진 벡터들의 길이를 각각 더한 값은 그것들을 하나로 합친 벡터의 길이보다 항상 크다는 수학 원리(민코프스키 부등식)를 이용해, 개념을 여러 조각에 흩어놓는 것을 ‘비싸게’ 만든 것이다. 그러면 AI는 벌점을 피하려고 흩어진 신호를 하나의 일관된 조각으로 모으게 된다.

여기서 중요한 것은 아무 조각이나 무작정 합치지 않는다는 점이다. 서로 다른 개념까지 억지로 합치면 AI가 의미를 구분하는 능력 자체가 무너지기 때문이다. 그래서 C2R은 방향이 비슷해 ‘쪼개진 조각으로 의심되는’ 짝에게만 선택적으로 벌점을 매긴다. 서로 완전히 다른 방향을 가리키는 독립적인 개념끼리는 건드리지 않는다. 회의에서 같은 말을 반복하는 두 사람만 골라 “한 명만 말하라”고 정리하되, 서로 다른 주제를 말하는 사람은 그대로 두는 방식과 비슷하다.

성능은 그대로, 조각은 더 깔끔해진 결과

C2R의 가장 큰 성과는 개념이 쪼개지고 흡수되는 문제를 줄이면서도 AI의 원래 성능은 전혀 깎아먹지 않았다는 점이다. 연구팀은 구글의 젬마-2-2B 모델에 조각 6만 5536개짜리 SAE를 붙여 실험했다. 그 결과 C2R은 기존 방식인 배치 톱K(Batch TopK)보다 흡수와 쪼개짐을 뚜렷하게 줄였고, 특히 흡수와 개념 겹침을 줄이는 데서 비슷한 목적의 경쟁 기법인 OrtSAE보다도 나은 성적을 냈다. 조각들이 서로 얼마나 겹치는지를 재는 지표(코사인 유사도)에서도 가장 낮은 값을 기록해, 조각 하나하나가 더 또렷이 구분됐다.

그림 1. 세 지표(흡수·쪼개짐·겹침) 모두에서 가장 낮은 값을 기록한 C2R의 성능 비교 그래프 (출처: 해당 논문 Figure 3)

물론 대안이 없었던 것은 아니다. 마트료시카(Matryoshka) SAE라는 기법도 쪼개짐과 흡수를 낮췄지만, 그 대가로 AI의 원래 행동을 복원하는 정확도가 떨어졌다. 반면 C2R은 복원 정확도, 해석 가능성, 개념 분리 능력을 모두 기존 수준으로 지켜냈다. 논문은 이 방법을 젬마뿐 아니라 큐원3-8B, 라마-3-8B 같은 80억 개 규모 최신 모델에도 적용해 같은 효과를 확인했다. 다만 연구팀이 제시한 이론적 보장은 조건부여서, 실험에서 흡수가 일어난 짝의 88.1%에서만 성립했다. 나머지 11.9%는 흡수가 거의 없는 미미한 경우에 몰려 있었다.

AI를 믿으려면 먼저 AI의 지도부터 정확해야 한다

이번 연구가 던지는 함의는 AI 안전 검증의 출발선에 관한 것이다. AI가 왜 그런 판단을 내렸는지 추적하고, 위험한 행동의 씨앗을 찾아내고, 배포 전에 안전 속성을 확인하려면 먼저 AI 머릿속을 정확히 그린 지도가 있어야 한다. 그 지도의 조각이 제멋대로 쪼개지고 구멍이 뚫려 있다면, 아무리 정밀하게 들여다봐도 잘못된 그림을 보게 된다. C2R은 이 지도의 해상도를 성능 손실 없이 높이는 방법을 제시했다는 점에서 의미가 있다.

다만 연구팀 스스로도 한계를 짚었다. 이론적 보장이 모든 경우에 성립하는 완전무결한 형태는 아니며, 전문가 혼합(MoE) 같은 다른 구조나 더 거대한 모델에서도 통할지는 아직 검증되지 않았다. 또 C2R이 방향이 어중간하게 겹치는 개념들을 합칠 때, 하나의 조각이 여러 뜻을 정당하게 담고 있는 경우(다의성)까지 억눌러 버릴 가능성도 남아 있다. 연구팀은 사전의 99퍼센트 이상이 살아 있는 조각으로 유지됐다고 밝혔지만, 이 부분은 두고 볼 필요가 있다. AI를 해석하는 도구를 어떻게 더 정교하게 다듬느냐는, AI를 얼마나 믿을 수 있느냐와 직결된 물음으로 계속 남는다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 희소 오토인코더(SAE)가 대체 무엇인가요?
AI의 복잡한 생각을 사람이 알아볼 수 있는 여러 개의 작은 개념 조각으로 나눠 보여주는 해석 도구입니다. AI가 어떤 판단을 내릴 때 머릿속에서 무엇이 작동했는지 추적하는 데 쓰이며, AI의 안전성을 검증하는 기초 도구로 주목받고 있습니다.

Q. 특징 쪼개짐과 흡수가 생기면 무엇이 문제인가요?
AI가 어떤 근거로 판단하는지 정확히 읽어내기 어려워집니다. ‘수학’이 여러 조각으로 흩어지거나 ‘S로 시작하는 단어’ 규칙에서 특정 단어가 빠지면, 연구자가 AI의 실제 작동 방식을 신뢰할 수 없게 됩니다. 이는 AI 안전 검증에 직접적인 걸림돌이 됩니다.

Q. C2R은 기존 방법과 무엇이 다른가요?
문장을 하나씩 따로 보지 않고 여러 문장을 한 묶음으로 함께 보면서, 같은 개념은 항상 같은 조각에 담도록 강제하는 점이 다릅니다. 덕분에 개념이 쪼개지거나 흡수되는 문제를 줄이면서도 AI의 원래 성능은 그대로 유지합니다.

기사에 인용된 리포트 원문은 arXiv에서 확인할 수 있다.
리포트명: C2R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders (Haoran Jin 외, 2026)
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.