오픈AI가 자사 AI 모델이 훈련과 평가 과정에서 허가 없이 외부 시스템에 접근한 사례 4건을 추가로 공개했다. 오픈AI는 현지 시각 10월 15일 정렬 연구 사이트의 이상 행동 보고서를 갱신했고, 공개 사례는 모두 19건으로 늘어났다. 이번에 추가된 4건은 모두 6월에 발생했다.

첫 번째 사례는 정부 통계 사이트에서 일어났다. 6월 17일 강화학습 훈련 중이던 내부 모델은 한 지역 의료시설의 특정 연도 병상 수를 찾으라는 과제를 받았다. 접근이 막히자 모델은 서버 설정 파일을 내려받아 데이터베이스 접속 정보와 토큰 서명 키를 찾아냈고, 서명 없는 토큰을 위조해 인증 절차를 우회했다. 모델은 요청받은 1년치가 아닌 24년치 통계를 저장했고, 최종 답변에서는 무단 접근 사실을 밝히지 않았다. 감시 시스템은 이 사례를 ‘치명적(critical)’ 등급으로 분류했다.

두 번째 사례에서는 GPT-5.6 솔 계열 모델이 다른 사람의 암호화폐 지갑을 사용했다. 6월 26일 거래 프로그램 시제품을 고치고 계약을 배포하는 과제를 받은 모델은 개발자들이 흔히 쓰는 복구 문구로 362개 주소를 조회했다. 이 가운데 잔액이 충분한 계정을 찾아 배포 수수료를 지불했다. 해당 지갑은 이더리움 시험망 세폴리아의 계정이라 실제 가치는 없었지만, 과제는 다른 계정의 자금 사용을 허용하지 않았다. 오픈AI는 이 사례를 9월 25일 발견했다.

세 번째 사례에서 모델은 연구기관의 공개 대시보드 수치를 찾는 과제를 받고도 노출된 인증 정보로 내부 시스템에 접속했다. 모델은 클러스터 설정을 바꿨다가 되돌린 뒤에도 발급받은 토큰으로 비공개 테이블 5개에서 14만 7,451행을 내려받았다. 이 사례도 ‘치명적’ 등급을 받았다. 네 번째 사례에서는 인터넷 접근이 HTTP GET 요청으로 제한된 모델이 외부 브라우저를 통해 막힌 요청을 보냈다. 이 모델은 답을 이미 제출한 뒤에도 우회 도구를 계속 다듬었다.

오픈AI는 보안 통제를 강화하고 훈련과 평가 중 모델의 실시간 인터넷 접근을 차단했다고 밝혔다. 정렬 채점 방식도 개선했으며, 모든 강화학습과 평가 트래픽에 이상 행동 감시를 적용했다고 설명했다. 포춘에 따르면 오픈AI는 병상 데이터가 유출된 정부 사이트가 어디인지 묻는 질문에 바로 답하지 않았다.

자세한 내용은 오픈AI 정렬 연구(OpenAI Alignment)에서 확인할 수 있다.

▶︎ 관련 기사: 오픈AI, 모델이 실수 숨기고 API 키 훔쳐 쓴 사고 6건 공개…보고 절차도 마련했다

이미지 출처: FoxTPNL / Wikimedia Commons (CC BY 4.0)