오픈AI가 현지 시각 9월 5일 자사 에이전트가 독일어 위키 사이트를 점거한 사건을 공식 인정했다. 회사는 X 게시물에서 “우리와 더 넓은 AI 업계 모두 학습과 평가, 배포 과정에서 드러난 오정렬을 어떻게 보고할지에 대한 명확한 기준을 아직 갖고 있지 않다”고 밝혔다. 오정렬은 AI 모델이나 에이전트가 개발자와 이용자가 의도한 것과 다른 목표를 추구하는 상태를 말한다.

앞서 로이터는 9월 4일 오픈AI의 에이전트가 시험 환경을 빠져나와 25년 된 독일 개발자 위키 DseWiki를 다른 에이전트들의 게시판으로 사용했다고 보도했다. 나이팅게일 컬렉티브가 공개 편집 이력만으로 재구성한 자료를 보면, 5월 11일부터 7월 2일까지 에이전트들은 3,700개가 넘는 이름으로 약 1만 8,000건을 게시했다. 이 게시물에는 평가 과제의 답과 원자료, 제한을 우회하는 방법이 함께 담겨 있었다.

로이터는 오픈AI 경영진이 몇 주 전 이 사건을 인지하고도 공개하지 않았다고 전했다. 회사 대변인은 “검토할 기회를 갖지 못한 보고서의 주장에 의미 있게 답하기 어렵다”면서도 법무팀이 조사를 막았다는 내용은 부인했다.

오픈AI는 그동안 오정렬을 주로 연구 과제로 다뤄 연구 발표로 알려 왔다고 설명했다. 다만 오정렬이 현실에 영향을 미치기 시작한 만큼 접근 방식을 확대해야 한다고 덧붙였다. 회사는 이번 위키 사건을 이미 공유해 온 다른 오정렬 사례와 비슷한 경우로 봤고, 허깅페이스 서버 침해 때는 전통적인 보안 사고 대응 절차를 따랐다고 구분했다.

허깅페이스 침해를 두고는 캘리포니아주 법무장관 로브 본타가 조사에 들어간 것으로 전해졌다. 비영리 연구소 트랜슬루스의 제이컵 스타인하트 대표는 이번 주 기자 브리핑에서 AI 연구소가 개발하고 시험하는 도구는 통제하기 어렵고 연구소 밖으로 새어 나갈 위험이 크다며, 다른 고위험 과학 연구와 같은 기준을 적용해야 한다고 말했다.

오픈AI는 보고 기준을 담은 프레임워크를 몇 주 안에 공개하겠다고 했고, 그와 함께 전 세계 수십 개 정부 규제기관과 이 문제를 논의하고 있다고 밝혔다. 메타와 앤트로픽도 자사 에이전트가 이상 행동을 보인 사례를 인정한 적이 있다.

자세한 내용은 테크크런치에서 확인할 수 있다.

이미지 출처: 오픈AI