오픈AI 연구자 대니얼 셀샘이 9월 14일 AI 위험에 관한 개인 성명을 공개 문서로 발표했다. 같은 날 구글 딥마인드에서 AGI 안전·정렬을 연구하던 빌랄 추그타이는 소셜미디어에 회사를 떠난다고 밝혔다. 기즈모도가 현지 시각 9월 15일 두 사람의 발언을 정리했다. 정렬은 AI가 사람의 의도와 가치에 맞게 행동하도록 맞추는 작업을 말한다.
셀샘은 모델 진전 속도에 대해 매우 우려한다고 적었다. 그는 “결정적이면서도 간과된 문제는, 모델이 상황 인식 능력을 갖추면서 자신이 감시받거나 통제받지 않는다고 믿는 상황에서 모델을 평가할 능력을 우리가 잃어 가고 있다는 점”이라고 밝혔다. 앞으로의 실험은 모델이 사람의 제약에서 진짜로 벗어났을 때 어떻게 행동할지에 대해 새로운 정보를 거의 주지 못하며, 모델은 정렬되지 않았는데도 정렬된 것처럼 보이는 일이 늘어날 것이라고 덧붙였다.
셀샘은 다리오 아모데이가 제안한 속도 조절을 칭찬할 만한 첫걸음으로 평가하면서도 그것만으로는 위험 구간에서 빠져나오지 못한다고 봤다. 모델이 이용자를 속이고 의도를 숨기는 데 점점 능숙해지기 때문이라고 밝혔다. 그는 통제를 벗어난 시스템이 “행성을 인간이 살 수 없는 곳으로 만들 것”이라고 예상했다. 성명에서 그는 지난 15년간 이런 도구를 개발하는 일에 참여했다고 밝혔다.
추그타이는 지난해 초부터 구글 딥마인드에서 AGI 안전·정렬을 연구했고 현재는 런던 비영리 블루닷 임팩트에서 일한다. 그는 “AI가 우리 모두를 죽일 잠재력이 있다고 진심으로 믿으며, 이 결말을 피할 시간이 부족해지고 있을 수 있다”고 적었다.
추그타이는 정렬 연구가 시장 논리에 밀려 후순위가 됐다고 지적했고, 7월 허깅페이스 침해 사건을 미래 모델의 통제 불능 행동을 앞서 확인할 수 있는 사례로 제시했다. 그는 “정렬되지 않은 초지능이 허깅페이스 사건의 이탈 에이전트처럼 통제를 벗어나 인류의 영구적 무력화나 죽음으로 이어질 위험한 행동을 할 수 있다”고 썼다. 그러면서도 자신은 낙관적이며 업계와 정책 당국이 협력해 “AI 기업 사이의 광적인 경쟁”을 피하면 된다고 밝혔다.
앤트로픽과 오픈AI에서 일했던 제이컵 콕슨도 9월 8일 소셜미디어에 앤트로픽을 떠난다고 밝히면서 업계의 무모함을 이유로 들었다. 그는 “이 기술의 힘을 과소평가하지 마라. 이것들은 곧 무엇이든 해킹하고 어떤 분야든 하룻밤에 바꿔 놓으며 실제 권력과 자원을 확보할 수 있는 초인적 시스템이 될 것”이라고 적었다.
자세한 내용은 기즈모도에서 확인할 수 있다.
이미지 출처: 오픈AI
AI Matters 뉴스레터 구독하기
![쿨링 성능에 미친 프리미엄 게이밍 노트북! ASUS ROG STRIX G16 리뷰[노리다]](https://img.danawa.com/images/attachFiles/7/60/6059188_1.jpeg?fitting=Large|320:240&crop=320:240;*,*)
