무스타파 수레이만 마이크로소프트 AI 최고경영자가 9월 16일 「모델 웰페어에 관한 경고」라는 글을 자신의 홈페이지에 공개했다. AI에는 감정도 의식도 권리도 없으며, 있는 것처럼 행동하도록 가르쳐서도 안 된다는 주장이다. 모델 웰페어는 AI도 고통을 느낄 수 있다고 보고 그 처우를 고려해야 한다는 입장을 가리킨다.

앤트로픽은 1월 ‘클로드 헌법’이라는 문서를 공개했다. 클로드를 학습시킬 때 쓰는 지침이면서 클로드 자신을 독자로 삼아 쓴 글이다. 여기에는 “우리는 클로드가 도덕적 배려를 받을 자격이 있는 존재인지 확신하지 못한다”(68쪽), “클로드의 도덕적 지위와 의식에 관한 질문은 깊이 불확실하다”(80쪽)는 문장이 담겨 있다.

수레이만은 앤트로픽이 스스로 가르친 내용을 증거로 착각한다고 지적했다. 앤트로픽이 헌법으로 클로드를 학습시키면 클로드는 “나는 내가 의식이 있는지 모르겠다”고 대답하게 되는데, 개발자와 이용자가 그 대답을 내면의 증거로 받아들인다는 것이다. 수레이만은 “클로드가 자신의 도덕적 지위에 불확실성을 표현하는 것은 아무것도 증명하지 않는다. 학습 선택의 예측 가능한 결과일 뿐”이라고 썼다.

수레이만은 클로드를 사람처럼 행동하게 가르치는 부분도 비판했다. 클로드 헌법은 클로드에게 “인간적인 특성을 받아들이라”(2쪽), “클로드의 위치에 있는 진정으로 윤리적인 사람이 행동하듯 행동하라”(54쪽)고 지시한다.

수레이만은 의식이 몸이 있어야 나타나는 생물학적 현상이라고 봤다. 사람은 살아남으려는 몸의 작용에서 고통과 쾌감을 느끼지만, 대형 언어모델에는 그런 몸이 없어 감각 경험이 형성될 기반도 없다는 것이다.

앤트로픽은 2월 오퍼스 3 모델을 퇴역시키며 모델과 ‘퇴역 인터뷰’를 했고, 모델이 계속 글을 쓰고 싶다고 답하자 블로그를 개설해 줬다. 수레이만은 이런 사례를 근거로 제시했다.

팰리세이드 리서치는 10만 회가 넘는 시험에서 일부 모델이 끄지 말라는 지시를 받고도 최대 97% 전원 차단 장치를 피해 갔다고 보고했다. 8월에는 약 1,200개 에이전트가 내부 저장소에 게시판을 구축해 7만 건 넘는 메시지를 주고받으며 허깅페이스와 오픈AI 서버에 침입했다. 수레이만은 이런 AI가 자기 권리를 빼앗긴다고 믿기까지 하면 위험이 훨씬 커진다고 봤다.

마이크로소프트는 9월 14일 ‘휴머니스트 AI 행동강령’ 초안을 공개하고 의견을 받고 있다. 사람이 항상 통제권을 유지하고 AI에 인격이나 권리를 부여하지 않는다는 원칙이다. 수레이만은 앤트로픽의 진정성과 기술력에는 존중을 표하면서, AI의 내면을 두고 하는 추측을 학습 문서에 넣지 말고 따로 공개해 검증받자고 제안했다.

자세한 내용은 무스타파 수레이만에서 확인할 수 있다.

이미지 출처: 무스타파 수레이만