사람 연구진이 약 5개월 동안 수행한 암호 계산을 AI 에이전트가 4일이 안 돼 다시 해냈다. 구글 딥마인드는 최근 공개한 연구 논문 2편에서, AI 에이전트가 구형 1024비트 RSA 서명 위조 계산을 재현하고 약점 2건을 찾았다고 밝혔다. RSA는 매우 큰 수를 소인수분해하기 어렵다는 점을 이용한 공개키 암호로, 인터넷 보안 연결과 전자 서명에 널리 쓰인다. 오래된 1024비트 키를 아직 쓰는 시스템이 있다면 교체를 서둘러야 할 이유가 하나 더 생겼다.

1,380코어년 계산을 391코어년으로 재현

딥마인드의 AI 에이전트는 기존 연구보다 적은 계산량으로 같은 결과를 냈다. 재현 대상은 미국 UC샌디에이고와 프랑스 국립정보자동화연구소(Inria) 연구진이 수행한 1024비트 RSA 서명 위조 계산이다. 암호 키를 알아내는 소인수분해가 아니라, 제한된 서명 요청만으로 서명을 위조하는 데 필요한 값(모듈러 근)을 구하는 계산이다. 원래 연구에는 1,380코어년이 들었고 기간은 약 5개월이었다. 코어년은 CPU 코어 1개를 1년 동안 쓴 계산량이다.

AI 에이전트는 같은 계산을 391코어년으로 끝내 CPU 사용 시간을 3.5배 줄였다. 소요 시간은 4일 미만이다. 설계 시작부터 검증된 결과까지 전체 3일 22시간이 소요됐고, 본격적인 대규모 계산을 시작한 뒤로만 보면 3.2일이었다.

CPU 코어 30만 개 사용, 사람 개입은 메시지 약 20건

에이전트는 감독 역할의 모델과 실행 역할의 모델, 특정 작업 하나를 맡은 전문 보조 에이전트로 구성됐다. 딥마인드는 어떤 AI 모델을 썼는지는 공개하지 않았다.

에이전트는 최대 약 30만 개의 CPU 코어와 GPU 16개를 쓰며 분산 실험 336회를 진행했고, 도구를 약 1만 6,300회 호출하며 새 코드 약 3만 3,500줄을 작성했다. 반면 연구진이 보낸 메시지는 짧은 메시지 약 20건에 그쳤고, 대부분 진행 승인이었다.

패딩 약점, 블록 절반 이상 통제 시 보호 효과 없음

첫 번째 약점은 전자 서명에 쓰는 패딩 방식과 관련이 있다. 패딩은 서명할 데이터에 정해진 형식의 값을 채워 넣어 공격을 어렵게 하는 방법이다. 논문에 따르면, 1024비트에서 서명을 요청하는 사람이 128바이트 블록 가운데 약 절반 이상인 65바이트를 정할 수 있으면 널리 쓰이는 PKCS#1 v1.5 패딩은 패딩이 없는 RSA보다 공격을 어렵게 만들지 못한다.

미국 보안 매체 시큐리티위크에 따르면, 푸시미트 콜리 구글 딥마인드 부사장은 “블록의 대략 절반 이상을 통제하면 패딩은 아무런 보호도 하지 못한다”고 설명했다. 서명할 값이 32바이트 해시값인 경우에 대해서도 논문은 계산 비용을 낮추는 방법을 제시했지만, 이 크기에서는 실제로 실행하지 않았다고 밝혔다.

일괄 인수분해 비용, 기존 방식의 30분의 1

두 번째 논문은 여러 개의 큰 수를 한꺼번에 소인수분해하는 방법을 제시했다. 소인수분해 1회분에 해당하는 계산을 미리 해 두면, 그 뒤에 추가하는 수 하나를 분해하는 비용은 일반적인 방법으로 한 번 분해할 때의 약 58분의 1로 줄어든다. 논문은 이 비용이 기존의 여러 수체 방식(MNFS)보다 30배 낮다고 밝혔다.

다만 논문은 이 결과가 이론적 추정이며 이 방식을 아직 구현하지 않았다고 밝혔고, 비용 추정에 쓴 대수 항등식은 수학 증명 검증 도구 린(Lean) 4로 기계 검증했다.

2048비트 이상 RSA는 영향 없음

딥마인드는 이번 결과가 현재 쓰이는 2048비트 이상 RSA 암호 시스템을 위협하지 않는다고 밝혔다. 콜리 부사장도 이번 결과가 더 이상 권장되지 않는 1024비트 RSA 시스템에만 영향을 준다고 설명했다.

이번 연구에는 UC샌디에이고와 Inria를 겸직하는 나디아 헤닝거, Inria를 겸직하는 에마뉘엘 토메가 딥마인드 소속 저자로 참여했다. 두 사람은 재현 대상인 원래 연구의 공저자이기도 하다. AI 에이전트가 사람의 승인만 받으며 수십만 개 CPU 코어를 쓰는 대규모 암호 계산을 수행했다는 점에서, 암호 연구에서도 AI 에이전트의 역할이 커지고 있음을 보여 준다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. RSA 암호란 무엇인가요?
RSA는 매우 큰 수를 소인수분해하기 어렵다는 점을 이용한 공개키 암호입니다. 인터넷 보안 연결과 전자 서명에 널리 쓰이며, 키 길이가 길수록 깨기 어렵습니다.

Q2. 지금 쓰는 RSA 암호도 위험한가요?
구글 딥마인드는 이번 결과가 2048비트 이상 RSA 시스템을 위협하지 않으며, 이미 권장되지 않는 1024비트 RSA에만 영향을 준다고 밝혔습니다. 1024비트 키를 쓰는 시스템이 있다면 교체를 검토할 필요가 있습니다.

Q3. AI 에이전트는 어떤 일을 했나요?
AI 에이전트는 최대 약 30만 개의 CPU 코어와 GPU 16개를 쓰며 분산 실험 336회를 진행했고, 새 코드 약 3만 3,500줄을 작성했습니다. 사람은 짧은 메시지 약 20건을 보냈고 대부분 진행 승인이었습니다.

기사에 인용된 리포트 원문은 구글 딥마인드에서 확인할 수 있다.
리포트명: Modular Roots from a Restricted Oracle: Faster Affine Roots and a 1024-bit Computation, Fan Factories: Multiple Number Fields in Factorization Factories and Batch NFS (구글 딥마인드, 2026년 11월)
이미지 출처: 구글 딥마인드
해당 기사는 클로드를 활용해 작성되었습니다.