오픈AI 최고과학자 야쿱 파초키(Jakub Pachocki)가 현지 시각 9월 6일 공식 블로그에 ‘외계의 지성(An Alien Mind)’이라는 제목의 에세이를 게재했다. 파초키는 어떤 AI 연구소도 최고 속도로 규모를 키우면서 안전을 지킬 만큼 정렬과 감시 문제를 풀지 못했다고 밝혔다.

정렬은 두 층으로 나눠 설명했다. 목표 정렬은 모델이 주어진 과제를 하려고 하는지를 뜻하고, 가치 정렬은 지시가 불분명하거나 서로 충돌하거나 악의적일 때도 합리적으로 행동하는 더 깊은 능력을 가리킨다.

감시 수단이 약해지고 있다는 점도 지적했다. 모델의 사고 과정을 글로 따라 읽는 사고 사슬 감시는 추론이 도구 사용, 대화와 뒤섞이면서 효력이 떨어지고 있다는 설명이다. 파초키는 보완책으로 모델 내부 활성값을 관찰하는 방식과 모델이 스스로 문제를 보고하게 하는 방식을 제시했다.

속도 조절도 함께 요구했다. 그는 공유된 안전 기준이 마련될 때까지 자발적인 감속이 일반적인 관행이 되기를 기대한다고 밝혔고, 제3자 감사기관이나 정부기관, 국제기구가 강제하는 안전 기준선을 제안했다. 각국 정부가 AI 개발에 관한 국제 공조를 최우선 과제로 삼아야 한다고도 덧붙였다.

재귀적 자기 개선은 AI가 자기 자신을 더 나은 AI로 개선하는 과정을 말한다. 파초키는 AI 발전이 이어진다면 이 과정이 미래 과학 발견의 중심에 놓일 것이며, 내부 결과를 근거로 현재 속도가 재귀적 자기 개선 단계까지 이어질 수 있다고 본다고 밝혔다. 앞으로 몇 년의 시스템은 지금과 같거나 더 큰 폭의 능력 도약을 보이며 자기 개발을 스스로 이끌게 될 것이라는 예상이다.

이번 에세이는 오픈AI가 GPT-6 아스트라를 공개하며 AGI 시대를 언급한 직후에 나왔다.

자세한 내용은 오픈AI에서 확인할 수 있다.

이미지 출처: 오픈AI