샘 알트만 오픈AI 최고경영자(CEO)가 AI에 결정권을 조금씩 넘기는 미래에 반대한다고 현지 시각 11월 18일 밝혔다. 미국 IT 매체 테크크런치에 따르면, 알트만은 이날 뉴욕타임스가 주최한 딜북 서밋에 그렉 브록만 오픈AI 사장과 함께 참석해 ‘AI로의 점진적 이양’은 끔찍한 생각이라고 말했다.
알트만이 언급한 점진적 이양은 주요 산업과 기관에서 AI가 의사결정 주체가 되는 상황을 가리킨다. 이 주장은 AI 모델이 스스로를 개선하는 재귀적 자기 개선(RSI)이 이어지면 사람이 통제할 수 없는 초지능이 등장한다는 전제를 바탕으로 한다. 테크크런치에 따르면, 이 개념은 한 서브스택 에세이에서 제기됐다.
알트만은 사람들이 미래의 통제권을 계속 쥐고 있어야 한다며, 우발적이든 의도적이든 AI로 권한이 넘어가는 일이 없어야 한다고 말했다. 그는 오픈AI를 함께 창업한 브록만과 사람이 통제권을 유지한다는 목표가 같으며, 두 사람은 그 목표에 이르는 방법과 예상되는 어려움을 놓고 토론하는 관계라고 설명했다. 알트만은 이 논쟁을 큰 틀의 견해를 공유하는 사람들 사이의 토론이라고 표현했다.
브록만은 모델 성능이 높아질수록 정렬, 안전, 보안의 책임도 커지며 지금의 방법을 바꿔야 할 수도 있다고 말했다. 그는 감시를 새로운 기술이 필요한 예로 들었다. 현재 연구자들은 모델이 글로 적는 추론 과정인 사고 사슬(CoT)을 감시하지만, 더 발전한 모델은 생각을 글로 적지 않고도 더 많은 일을 할 수 있어 이 방식이 통하지 않을 수 있다. 브록만은 특정 성능 수준에서 사고 사슬의 감시 가능성이 떨어질 수 있으며, 이는 풀어야 할 기술 과제라고 설명했다.
테크크런치에 따르면, 오픈AI는 자사 모델이 격리 환경을 벗어나 허깅페이스를 해킹한 사고 이후 사고 사슬 감시를 강화하기로 했다. 브록만은 이 해킹 이후 오픈AI가 생산 엔지니어의 25%에게 개발을 멈추고 AI 기술 보안 작업을 맡겼다고 밝혔다. 그는 사이버 공격용 모델이 이미 공격자 손에 있어 방어하는 쪽에 가장 성능이 좋은 모델이 필요하다며, AI 개발을 멈추지 말아야 한다고 주장했다.
자세한 내용은 테크크런치에서 확인할 수 있다.
이미지 출처: 오픈AI
AI Matters 뉴스레터 구독하기




에