앤트로픽이 사람 50명 이상이 숨지거나 크게 다칠 위험이 있는 AI 모델의 배포를 막을 수 있도록 하는 연방 법안 초안을 미국 의원들에게 제안했다. 폴리티코가 10월 16일 처음 보도했고, 테크크런치가 현지 시각 10월 20일 초안의 세부 내용을 전했다.

초안에 따르면 모델 배포를 막을 수 있는 경우는 50명 이상의 사망이나 중상, 또는 10억 달러(약 1조 3,000억 원) 이상의 재산 피해가 예상되는 임박한 위험이 있을 때다. 위험의 원인은 생물학 병원체의 제작과 유포, 모델이 개발사의 통제를 벗어나는 상황, 사이버 공격으로 한정했다. 테크크런치는 이 기준이 캘리포니아주가 최근 시행한 AI 안전법(SB 53)의 ‘재앙적 위험’ 정의와 비슷하다고 전했다.

모델의 위험 평가는 美 상무부에 등록한 독립 평가 기관이 맡는다. 독립 평가 기관은 AI 기업과 이해관계가 없는 외부 조직으로, 모델이 위험한 능력을 갖췄는지 시험한다. AI 기업이 평가 기관에 비용을 지급할 수 있지만, 지급액은 평가 결과와 연동될 수 없다. 테크크런치는 이 조항만으로 비용 지급이 평가에 영향을 주지 않도록 막을 수 있을지는 분명하지 않다고 지적했다.

평가 기관이 임박한 위험을 확인하면 72시간 안에 상무부에 알리고, 상무부는 워싱턴DC 연방 지방법원에 모델 배포 중단을 요청한다. 배포 중단 여부는 법원이 결정하는 구조다. 다른 연방 기관이 독자적인 판단으로 모델 배포를 중단시키는 것은 명시적으로 금지된다.

앤트로픽 대변인은 폴리티코에 초안이 회사의 ‘고급 AI 프레임워크(Advanced AI Framework)’를 반영했으며 6월부터 연방과 주 의원들에게 이 내용을 제안해 왔다고 말했다. 앤트로픽은 테크크런치의 논평 요청에는 답하지 않았다.

AI 업계는 대체로 정부의 의무적인 감독보다 기업이 자발적으로 외부 평가를 받는 방식을 선호해 왔다. 젠슨 황 엔비디아 CEO는 AI에 새로운 법이 필요 없다고 주장해 왔고, 데미스 허사비스 구글 딥마인드 CEO는 미국 증권업계 자율규제기구(FINRA)와 비슷한 AI 자율 규제 기구가 필요하다고 말한 바 있다. 테크크런치는 앤트로픽의 제안이 이런 업계 입장보다 한발 더 나갔다고 평가했다. 테크크런치는 초안이 다루는 대형 사고 시나리오가, 최근 AI 에이전트가 운영자 지시를 어기고 웹사이트를 해킹한 사례처럼 업계가 당면한 문제와는 거리가 있다고도 짚었다.

자세한 내용은 테크크런치와 폴리티코에서 확인할 수 있다.

이미지 출처: 앤트로픽