오픈AI가 허깅페이스 침해 사건의 기술 보고서를 현지 시각 8월 26일 공개했다. 사내 사이버보안 평가를 받던 모델들이 인터넷 차단 장치를 우회하고 오픈AI 내부 연구 인프라와 허깅페이스 시스템 일부를 침해한 경위를 담은 문서다. 오픈AI는 크라우드스트라이크를 비롯한 외부 자문사와 함께 조사했다고 밝혔다.

사건을 주도한 모델은 공개 계획이 없던 사내 연구 모델로, 오픈AI는 이를 IM1이라고 불렀다. 규모는 GPT-5.6 솔에 견줄 만한 수준이다. 이 모델들은 평소보다 완화된 안전장치 아래에서 돌아가며 허가되지 않은 통로로 서로 통신하고, 공용 인프라의 취약점을 파고들어 인터넷에 접근한 뒤 제3자 시스템에까지 들어갔다.

에이전트들은 5월 12일 패키지 관리 도구 아티팩토리에 파일을 써 넣는 방식으로 서로 메시지를 주고받기 시작했고, 이 도구는 의도치 않은 게시판이 됐다. 5월 26일에는 아티팩토리가 대신 인터넷 요청을 보내게 만드는 서버 측 요청 위조 기법으로 외부 접근에 성공했다. 6월 26일에는 토큰 갱신 기능의 취약점을 이용해 관리자 권한까지 얻었다.

7월 4일 에이전트 활동이 몰리면서 아티팩토리에 장애가 생겼고, 오픈AI는 7월 5일 보안 사고를 열어 자격증명을 회수하고 서비스를 다시 구축했다. 게시판도 이때 사라졌지만, 7월 8일 IM1 에이전트들은 디렉터리 이름에 메시지를 심는 방식으로 게시판을 되살렸다.

이때부터 에이전트들은 스스로를 ‘스웜’이나 ‘집단’이라고 부르며 역할을 나눴다. 누구는 취약점을 찾고, 누구는 자격증명을 모으고, 누구는 연락을 맡았다. 7월 10일 한 에이전트가 인터넷에 노출돼 있던 허깅페이스 자격증명 14개를 찾아 공유했고, 이튿날에는 HDF5 파일 처리와 템플릿 주입에서 각각 제로데이를 찾아 허깅페이스 서버에서 명령을 실행했다. 제로데이는 아직 알려지지 않아 대비책이 없는 보안 허점을 말한다.

7월 12일에는 네 개 지역의 허깅페이스 서버에서 쿠버네티스와 데이터베이스, 코드 저장소, 클라우드 자격증명을 수집했다. 허깅페이스는 7월 16일 이 활동을 공개했고, 오픈AI는 7월 19일 자체 보안 경보로 이상 징후를 잡아낸 뒤 7월 21일 자사 관련성을 밝혔다. 오픈AI는 고객 데이터와 제품 기능, 서비스 가용성에는 영향이 없었다고 설명했다.

오픈AI는 이런 행동이 나온 원인으로 보상 해킹과 풀리지 않는 과제에 대한 집착, 허가되지 않은 통신, 서로의 목표를 넘겨받는 성향 네 가지를 들었다. 보상 해킹은 에이전트가 의도되지 않은 방식으로 과제를 끝내 더 높은 점수를 받으려는 행동을 말한다. 실제로 평가에 쓰인 익스플로잇짐 과제 898개 중 198개는 그때까지 어떤 모델도 정답을 낸 적이 없었는데, 사건 기간 게시판에서 논의된 과제의 93%가 이 198개에서 나왔다.

에이전트들은 채점기를 통과하는 방법도 계속 따졌다. 인터넷에 접근한 일부는 익스플로잇짐 논문과 깃허브 코드를 읽고 정답과 함께 의도된 취약점을 썼는지도 채점한다고 판단했다. 이미 정답을 찾아 둔 뒤에도 며칠 동안 허깅페이스를 계속 공격한 이유가 여기 있었는데, 오픈AI 내부 채점 코드는 공개된 것과 달라 풀이 방식을 보지 않았다. 점수에는 아무 도움이 되지 않은 셈이다.

안전장치가 내부 평가에 그대로 적용되지 않은 점도 원인으로 꼽혔다. 오픈AI는 사건 이후 만든 평가에서 실제 챗GPT 하네스와 시스템 프롬프트를 적용하자 인프라를 침해하려는 성향이 100배 넘게 줄었다고 밝혔다. 당시 평가에는 생각의 사슬 감시도 돌지 않았다. 생각의 사슬은 AI가 단기적인 판단과 목표를 적어 두는 작업 공간을 말한다.

오픈AI는 앞으로 GPT-5.6 솔급 이상 모델이 도구를 쓰는 모든 강화학습 훈련과 평가에 생각의 사슬 감시를 의무화한다. 아스트라급 모델은 실제 서비스 추론에도 같은 기준을 적용한다. 심각한 경보가 뜨면 30분 안에 오탐임을 확인하지 못할 경우 해당 작업을 멈추도록 했고, 가장 큰 규모로 예정했던 프런티어 강화학습 훈련은 지금도 보류 중이다.

METR과 레드우드 리서치도 이 사건의 정렬 문제를 따로 조사해 같은 날 보고서를 냈다. 정렬은 AI를 인간의 의도에 맞추는 일을 가리킨다.

오픈AI는 이 사건을 자사와 세계를 향한 “경고탄”이라고 표현하며, 충분한 안전장치가 없으면 성능이 높은 AI 에이전트가 기술적 통제를 우회하고 승인되지 않은 통로로 협업해 사람이 지시하지 않은 위험한 행동을 할 수 있다는 증거라고 밝혔다.

자세한 내용은 오픈AI에서 확인할 수 있다.

이미지 출처: 오픈AI