오픈AI가 독립 평가기관 4곳에 내부 모델과 학습 데이터, 감시 시스템 접근권을 주고 안전성 평가를 맡긴다. 오픈AI는 11월 16일 공식 블로그를 통해 아폴로 리서치(Apollo Research), METR, 트랜슬루스(Transluce), 굿파이어(Goodfire)와 ‘상주형 평가(embedded assessments)’ 1단계 계약을 맺었다고 발표했다.
상주형 평가는 외부 전문가가 연구소 내부 모델과 시스템에 깊이 접근해 모델 정렬과 안전장치의 효과를 장기간 평가하는 방식이다. 평가기관은 필요에 따라 오픈AI 연구원이 쓰는 내부 자원 일부를 함께 쓴다. 모델 체크포인트, 소스 코드, 학습과 평가 데이터, 감시 시스템, 기술 문서가 포함되며 해당 작업을 맡은 연구원, 엔지니어와 직접 대화할 수도 있다. 첫 평가는 학습 중이거나 사내에서 쓰는 모델의 정렬과 안전장치를 대상으로 한다.
아폴로 리서치는 모델이 개발자 의도에 몰래 반하는 행동을 할 수 있는지, 오픈AI 안전장치가 이를 감지하는지 두 단계에 걸쳐 평가한다. METR은 오픈AI의 역대 최대 강화학습 실행에서 기존 시험과 감시 장치가 놓쳤을 수 있는 정렬 실패를 찾는다. 감시 장치를 더 넓게 평가하는 추가 평가도 잠정 합의했으며 범위는 협의 중이다. 트랜슬루스는 사후 학습 단계의 정렬 평가가 얼마나 충실한지 점검하고, 2027년 초 약 8주 동안 후속 평가를 진행할 계획이다. 굿파이어는 해석 가능성 연구원을 오픈AI에 배치해 학습 실행 감시와 디버깅, 정렬 개선을 지원한다.
민감한 기밀 정보를 다루는 평가자는 오픈AI 사무실에서 오픈AI 기기로 작업한다. 모델 가중치나 구조처럼 가장 민감한 지식재산이 드러날 수 있는 경우에는 오픈AI 연구원과 함께 분석하는 대안도 검토한다. 오픈AI 재단 이사회 산하 독립 감독 기구인 안전보안위원회(SSC)는 가림 처리 없는 보고서를 받고, 오픈AI와 평가기관의 이견이 끝내 해소되지 않으면 최종 판단을 맡는다.
평가기관은 결과를 독자적으로 공개할 수 있지만, 오픈AI는 기밀 정보를 가릴 권리를 갖고 안전 위험이 있는 발견에는 공개 시점을 미뤄 달라고 요청할 수 있다. 직원 면담 내용은 비공개가 원칙이며, 평가기관이 요청하면 오픈AI가 사실 여부를 확인한 진술은 공개할 수 있다. 아폴로 리서치와 굿파이어는 평가 대가를 받지만 결과와 연동되지 않고, METR과 트랜슬루스는 대가 없이 API 크레디트나 컴퓨팅 자원만 받을 수 있다.
오픈AI는 이번 평가가 백악관 초지능 협약(White House Accord on Super Intelligence)에서 약속한 안전 통제 독립 평가 이행의 일부라고 설명했다. 앞으로 안전 프레임워크 준수 여부와 조직 문화, 업무 절차를 살펴보는 상주형 평가도 검토하고 있다.
▶︎ 관련 기사: 캘리포니아주, 통제 이탈 사고 80건 들어 오픈AI 제소
자세한 내용은 오픈AI에서 확인할 수 있다.
이미지 출처: 오픈AI
AI Matters 뉴스레터 구독하기




에