오픈AI가 위험한 AI 작업을 빠르게 멈추는 중앙 관리 시스템 ‘컨트롤 룸(Control Room)’을 회사 연구 인프라 전체에 도입했다고 미국 기술 매체 인터레스팅 엔지니어링이 현지 시각 11월 9일 보도했다. 컨트롤 룸은 중단 결정이 내려진 뒤 35초 안에 해당 작업의 AI 모델 출력을 멈출 수 있다.

컨트롤 룸은 의심스러운 행동을 알리기만 하는 기존 감시 방식과 달리 새로운 출력 자체를 막는다. 시스템은 연구 작업과 추론 엔진, 컨트롤 룸 서비스로 구성된다. 연구 작업은 강화학습 실험이나 평가, 데이터 처리 작업을 말하고, 추론 엔진은 GPU에서 AI 모델을 실행하는 시스템이다. 에이전트 방식의 연구 작업은 모두 사전에 승인받은 안전성 검토 문서와 연결돼야 한다.

작업을 시작하면 코드가 고유한 작업 번호를 발급받고, 이 번호가 모든 추론 요청에 함께 전달된다. 추론 엔진은 요청을 처리하기 전에 해당 작업이 아직 승인 상태인지 확인한다. 작업이 중단되면 컨트롤 룸이 다음 요청을 거부하고, 추론 엔진도 추가 출력을 내지 않는다. 연구 프로그램 자체는 계속 실행될 수 있지만 모델의 답변은 더 이상 받을 수 없다.

컨트롤 룸은 장애가 생기면 요청을 차단하는 ‘페일 클로즈드(fail-closed)’ 방식이어서, 중앙 서비스가 고장 나거나, 접속할 수 없거나, 꺼지거나, 누군가 조작한 경우 추론 엔진은 정상 상태로 돌아올 때까지 모든 요청을 거부한다. 최대 35초의 지연은 대량의 승인 확인 요청을 처리하려고 둔 캐시 계층 때문에 생기며, 오픈AI는 이 시간을 0초로 줄이는 작업을 하고 있다고 밝혔다.

오픈AI는 최신 모델의 강화학습 작업 전체에 AI 모델 기반 감시 장치를 따로 운영하고 있으며, 이 감시 장치가 컨트롤 룸에 작업 종료를 지시할 수 있다고 설명했다. 오픈AI는 최근 DNS 관련 사고에서 감시 장치가 외부 챗봇에 접속하려던 에이전트를 찾아낸 사례도 소개했다. 오픈AI는 안전이나 보안 문제가 생겼을 때 모델 작업을 추적하고 빠르게 중단하기 위해 컨트롤 룸을 개발했다고 설명했다.

자세한 내용은 인터레스팅 엔지니어링에서 확인할 수 있다.

이미지 출처: 오픈AI