오픈AI(OpenAI)가 15일(현지 시간) AI 모델의 안전성을 평가하고 개발 및 배포 과정에서 필요한 안전장치를 결정하는 내부 시스템인 '준비 프레임워크(Preparedness Framework)'를 업데이트하면서 논란이 일고 있다. 이번 업데이트에서 오픈AI는 경쟁 AI 연구소가 유사한 보호 조치 없이 '고위험' 시스템을 출시할 경우 자사의 안전 요구사항을 '조정'할 수 있다고 밝혔다.

테크크런치가 보도한 내용에 따르면, 이번 변경 사항은 상업용 AI 개발자들이 모델을 빠르게 배포해야 하는 경쟁적 압박을 반영한다. 오픈AI는 최근 더 빠른 출시를 위해 안전 기준을 낮추고, 안전성 테스트에 대한 보고서를 적시에 제공하지 못했다는 비판을 받아왔다. 지난주에는 전 오픈AI 직원 12명이 일론 머스크(Elon Musk)의 오픈AI 제소 사건에 의견서를 제출했는데, 이들은 오픈AI가 계획된 기업 구조 개편을 완료할 경우 안전성에 대한 더 많은 타협이 이루어질 수 있다고 주장했다.

이러한 비판을 예상한 듯, 오픈AI는 정책 조정을 가볍게 하지 않을 것이며 안전장치를 "더 보호적인 수준"으로 유지할 것이라고 강조했다. 오픈AI는 "다른 첨단 AI 개발자가 비슷한 안전장치 없이 고위험 시스템을 출시할 경우 우리의 요구사항을 조정할 수 있다"며 "그러나 우선 위험 환경이 실제로 변화했는지 엄격하게 확인하고, 조정을 하고 있다는 사실을 공개적으로 인정하며, 조정이 심각한 위해의 전반적인 위험을 의미 있게 증가시키지 않는다고 평가하고, 여전히 안전장치를 더 보호적인 수준으로 유지할 것"이라고 화요일 오후 게시된 블로그 포스트에서 밝혔다.

새롭게 개편된 준비 프레임워크는 오픈AI가 제품 개발 속도를 높이기 위해 자동화된 평가에 더 많이 의존하고 있음을 명확히 했다. 회사는 인간이 주도하는 테스트를 완전히 포기하지는 않았지만, "더 빠른 출시 주기에 맞출 수 있는" "증가하는 자동화된 평가 모음"을 구축했다고 주장했다.

그러나 일부 보도에 따르면 이와 다른 상황이 전개되고 있다. 파이낸셜 타임스(Financial Times)에 따르면, 오픈AI는 다가오는 주요 모델에 대한 안전성 검사를 위해 테스터들에게 1주일도 안 되는 시간을 주었는데, 이는 이전 출시에 비해 압축된 일정이다. 또한 소식통들은 오픈AI의 많은 안전성 테스트가 이제 대중에게 공개되는 버전이 아닌 모델의 초기 버전에서 수행된다고 주장했다. 오픈AI는 성명을 통해 안전성을 타협하고 있다는 주장을 반박해왔다.

오픈AI 프레임워크의 다른 변경 사항은 능력을 숨기거나, 안전장치를 회피하거나, 종료를 방지하거나, 심지어 자가 복제할 수 있는 모델을 포함하여 위험에 따라 모델을 분류하는 방법과 관련이 있다. 오픈AI는 이제 모델이 "높은" 능력 또는 "중대한" 능력이라는 두 가지 임계값 중 하나를 충족하는지에 초점을 맞출 것이라고 밝혔다. 오픈AI는 전자를 "기존의 심각한 위해 경로를 증폭시킬 수 있는" 모델로 정의했다. 후자는 "전례 없는 새로운 심각한 위해 경로를 도입"하는 모델이다.

오픈AI는 "높은 능력에 도달한 적용 대상 시스템은 배포되기 전에 관련된 심각한 위해 위험을 충분히 최소화하는 안전장치가 있어야 한다"며 "중대한 능력에 도달한 시스템은 개발 중에도 관련 위험을 충분히 최소화하는 안전장치가 필요하다"고 블로그 포스트에서 밝혔다. 이번 업데이트는 오픈AI가 2023년 이후 준비 프레임워크에 처음으로 적용한 변경사항이다.

이번 오픈AI의 프레임워크 업데이트는 AI 기술이 빠르게 발전하는 상황에서 안전성과 경쟁력 사이의 균형을 찾기 위한 업계의 노력을 보여준다. 앤트로픽(Anthropic), 제미나이(Gemini) 등 다른 AI 기업들도 유사한 안전 프레임워크를 개발하고 있지만, 경쟁이 치열해질수록 안전 기준이 타협될 가능성에 대한 우려도 커지고 있다. AI 전문가들은 이러한 상황이 AI 규제 필요성에 대한 논의를 더욱 가속화할 것으로 예상하며, 업계 내부의 자율 규제만으로는 충분하지 않을 수 있다는 의견을 제시하고 있다. 앞으로 첨단 AI 시스템의 안전성을 확보하면서도 혁신을 저해하지 않는 균형점을 찾는 것이 AI 산업의 중요한 과제로 남을 전망이다.

해당 기사의 원문은 링크에서 확인할 수 있다.

이미지 출처: 오픈AI

기사는 클로드와 챗gpt를 활용해 작성되었습니다.