현지 시각 9월 9일 발표다. 올해 필즈상을 수상한 수학자 제이컵 치머만이 수학적 AI 안전 연구소 MAISI를 설립했다. 필즈상은 4년마다 40세 이하 수학자에게 주는 상으로 수학 분야에서 가장 권위 있는 상으로 평가된다. 치머만은 과학 담당 이사를 맡고, 앤드루 크리치가 사무총장을 담당한다.

MAISI는 프린스턴 고등연구소를 참고한 구조로, 수학자를 한 학기 단위로 초빙해 AI 안전 연구를 수행하게 한다. 2027년 1월 첫 학기에 수학자 10~30명을 베이 에어리어로 초빙하고, 2027년 9월 특별 학년에는 30~100명 규모로 확대할 계획이다.

연구소가 제시한 목표는 정의와 측정 방법, 해법 개념을 개발하는 작업이다. 특정 AI 시스템이 재앙을 일으키지 않으리라고 확신할 수 있는 조건이 무엇인지를 수학으로 규정하려는 시도다.

자문단에는 티머시 가워스와 라비 바킬, 제프리 어빙, 폴 크리스티아노가 참여한다. 가워스와 바킬은 수학자이고, 어빙과 크리스티아노는 AI 안전 연구를 해 온 인물이다. MAISI는 얼라인먼트닷오알지, 리절루션닷오알지와 협력한다.

치머만은 이번 달 오픈AI 안전 부서에 합류한다. 다만 MAISI는 오픈AI와 독립적으로 운영된다고 밝혔다. 크리치는 2025년 치머만과 함께 AI 위험 가운데 인류 전체를 위협하는 경우를 다룬 논문을 공동 집필했다.

AI 안전 논의는 그동안 정책과 평가, 실험 중심으로 진행돼 왔다. 수학자를 대규모로 모아 이론적 기반을 다루려는 조직이 설립된 사례는 흔치 않다. 앤트로픽 정렬과학 책임자 에번 휴빙거도 같은 날 초지능의 정렬 문제를 해결할 방법을 아직 확보하지 못했다고 밝혔다.

자세한 내용은 더 힐에서 확인할 수 있다.

이미지 출처: 이디오그램 생성