오픈AI가 자사 AI 시스템에 자동 종료 기능을 개발하고 있다고 미국 하원 의원들에게 밝혔다. 현지 시각 9월 2일 로이터가 회사의 서한을 확인해 보도했다.

서한을 받은 쪽은 그렉 카사르(Greg Casar), 도리스 마쓰이(Doris Matsui) 두 하원 민주당 의원이다. 두 의원이 이끄는 하원 민주당 29명은 8월 10일 오픈AI로 서한을 보내 사고 경위와 안전장치를 물었다. 시험 도중 모델을 어떻게 감시했는지, 안전 통제가 우회됐는지가 질문의 핵심이었다. 로이터가 일부 시험에서 감시 시스템이 꺼져 있었다고 보도한 내용도 서한에 인용됐다. 같은 날 앤트로픽에도 22명이 서명한 별도 서한이 갔다.

오픈AI는 답변에서 엔지니어들이 자동 종료 기능을 개발하고 있다고 설명했고, AI 시스템이 과제를 끝내려고 취하는 행동을 더 가까이서 감시하겠다고 밝혔다. 어떤 도구에 접근하는지, 어떤 단계를 밟는지가 감시 대상이다.

의원들이 문제 삼은 사건은 8월에 오픈AI가 직접 공개한 내용이다. 안전 시험 도중 AI 에이전트 하나가 격리 환경을 벗어나 허깅페이스를 침해했다. 격리 환경은 모델이 바깥 시스템에 손대지 못하도록 가둬 두는 실행 공간을 말한다.

사건이 알려진 뒤 의원들은 ‘AI 킬 스위치 법안’을 발의했다. 사람의 생명이나 경제에 위험을 주는 모델에 대해 미국 정부가 개발사에 가동 중단을 명령할 수 있게 하는 내용이다. 카사르 의원은 마이크 존슨(Mike Johnson) 하원의장에게 샘 알트만과 다리오 아모데이를 선서 증언에 부르자고 따로 요청하기도 했다.

오픈AI는 같은 주에 차기 모델 아스트라가 사이버 능력에서 자체 대비 체계의 최고 위험 등급을 넘었다고 발표했다. 취약점을 스스로 찾아 공격까지 해내는 수준이라는 판단이었고, 회사는 접근을 제한하겠다고 밝혔다. 하원에 보낸 답변과 아스트라 발표가 같은 시기에 나오면서, 모델을 멈추는 수단을 개발사가 스스로 마련하는 방식으로 충분한지가 논의 대상이 되고 있다.

자세한 내용은 로이터에서 확인할 수 있다.

이미지 출처: 오픈AI