오픈AI(OpenAI)가 최신 AI 추론 모델인 o3와 o4-미니(o4-mini)에 생물학적·화학적 위협과 관련된 프롬프트를 모니터링하는 새로운 시스템을 배포했다고 밝혔다. 이 시스템은 잠재적으로 유해한 공격을 실행하는 방법에 대한 조언을 제공하지 않도록 설계됐다.

테크크런치가 16일(현지 시간)에 따르면, o3와 o4-미니는 오픈AI의 이전 모델들보다 상당한 성능 향상을 이루었으며, 이로 인해 악의적인 사용자에게 새로운 위험을 초래할 수 있다. 오픈AI의 내부 벤치마크에 따르면, o3는 특히 특정 유형의 생물학적 위협 생성과 관련된 질문에 더 능숙하게 응답한다. 이러한 이유로, 그리고 다른 위험을 완화하기 위해 오픈AI는 "안전 중심 추론 모니터(safety-focused reasoning monitor)"라고 설명하는 새로운 모니터링 시스템을 개발했다.

이 모니터는 오픈AI의 콘텐츠 정책에 대해 추론하도록 특별히 훈련되었으며, o3와 o4-미니 위에서 작동한다. 이 시스템은 생물학적·화학적 위험과 관련된 프롬프트를 식별하고 모델이 해당 주제에 대한 조언 제공을 거부하도록 지시하는 역할을 한다.

기준선을 설정하기 위해 오픈AI는 레드팀(red team) 요원들이 약 1,000시간을 투자해 o3와 o4-미니의 "안전하지 않은" 생물학적 위험 관련 대화를 식별하도록 했다. 오픈AI가 안전 모니터의 "차단 로직"을 시뮬레이션한 테스트에서, 모델들은 위험한 프롬프트에 대해 98.7%의 확률로 응답을 거부했다. 오픈AI는 이 테스트가 모니터에 의해 차단된 후 새로운 프롬프트를 시도할 수 있는 사람들을 고려하지 않았다고 인정하며, 이러한 이유로 회사는 부분적으로 인간 모니터링에 계속 의존할 것이라고 밝혔다.

오픈AI에 따르면, o3와 o4-미니는 생물학적 위험에 대한 회사의 "고위험" 임계값을 넘지 않는다. 그러나 o1과 GPT-4와 비교할 때, o3와 o4-미니의 초기 버전은 생물학적 무기 개발과 관련된 질문에 더 유용한 답변을 제공했다. 오픈AI의 최근 업데이트된 준비 프레임워크(Preparedness Framework)에 따르면, 회사는 모델이 악의적인 사용자가 화학적·생물학적 위협을 개발하기 쉽게 만들 수 있는 방법을 적극적으로 추적하고 있다.

오픈AI는 모델의 위험을 완화하기 위해 자동화된 시스템에 점점 더 의존하고 있다. 예를 들어, GPT-4o의 기본 이미지 생성기가 아동 성 학대 자료(CSAM)를 생성하는 것을 방지하기 위해, 오픈AI는 o3와 o4-미니에 배포한 것과 유사한 추론 모니터를 사용한다고 밝혔다. 그러나 일부 연구자들은 오픈AI가 안전을 충분히 우선시하지 않는다는 우려를 제기했다. 회사의 레드팀 파트너 중 하나인 메트르(Metr)는 기만적 행동에 대한 벤치마크에서 o3를 테스트할 시간이 상대적으로 적었다고 언급했다. 한편, 오픈AI는 이번 주 초에 출시된 GPT-4.1 모델에 대한 안전 보고서를 발표하지 않기로 결정했다.

앤트로픽(Anthropic)과 구글의 제미나이(Gemini)와 같은 다른 AI 기업들도 유사한 안전 조치를 강화하고 있는 가운데, AI 모델의 능력이 향상됨에 따라 안전성 확보는 업계 전반의 중요한 과제로 부상하고 있다.

해당 기사의 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗gpt를 활용해 작성되었습니다.