[출처 : AI생성 이미지]

몬트리올에 기반을 둔 머신러닝 분야의 선구자인 요슈아 벤지오(Yoshua Bengio)가 인공지능(AI) 시스템이 '인간처럼 행동하지 않도록 하기 위한' 새로운 비영리 연구소를 설립했다. 

그는 자신이 개발에 기여한 기술의 위험성에 대해 오랫동안 경고해 왔으며 이번에 ‘로우제로(LawZero)’라는 이름의 비영리 단체를 설립하며 약 3천만 달러의 자금을 확보했다.

현재 로우제로에는 약 15명의 직원이 근무 중이지만, 벤지오는 “더 많은 인재를 채용하는 것이 목표”라고 밝혔다.

그는 AI 개발에 대한 보다 강력한 규제와 대형 테크 기업의 분할 필요성도 지속적으로 주장해왔다. 올해 초에는 TED 강연에서 AI의 위험성에 대해 경고하며 더욱 신중하고 협력적인 접근을 촉구하기도 했다.

벤지오의 이런 행보는 AI가 인간과 유사하게 독립적으로 행동하도록 만드는 최근의 흐름에 반기를 드는 것으로, 그는 이러한 기술이 결국 인간보다 자기 이익을 우선시할 수 있는 위험한 시스템으로 이어질 수 있다고 우려한다.

[출처 : X@Yoshua_Bengio 계정]

벤지오는 인터뷰에서 “우리는 지금까지 인간을 지능형 기계의 모델로 삼아 왔지만, 그건 말도 안 되는 일이죠”라며 “이 길을 계속 가면, 죽기를 원치 않고, 우리보다 더 똑똑할 수 있으며, 우리의 규범이나 지시를 따를지조차 확신할 수 없는 존재들을 만들게 될 겁니다”라고 말했다.

사실 전 세계가 인간을 능가하는 ‘범용 인공지능(AGI)’ 개발 경쟁에 몰두하는 가운데, AI 안전성이 뒷전으로 밀리고 있다는 우려가 커지고 있다. 

이런 현상은 AI 개발자들 사이에서도 제기되고 있으나 오픈AI 등 AI 리딩 업체들은 AI의 위험성을 테스트하는 테스트 카드를 한때 제대로 공개하지 않아 큰 비난을 사기도 했다.

벤지오는 또 첨단 AI의 통제권이 소수 기업에 집중되는 것도 큰 위험 요소라고 지적했다. 그는 “AGI나 초지능이 단 한 사람이나 기업, 혹은 하나의 정부에 의해 통제되는 일은 절대 있어선 안 됩니다. 매우 강력한 견제와 균형이 필요하다”라고 강조했다.

또 벤지오는 현재의 AI 시스템 훈련 방식에도 문제가 있다고 본다. 대부분의 시스템은 인간을 모방하도록 학습되며, 이후 사람들의 반응을 기준으로 ‘가장 매력적인’ 응답을 하도록 다듬어진다.

그는 “이런 방식은 통제가 불가능한 자율성을 낳는다”라고 말했다. 예컨대, 최근 앤트로픽(Anthropic)의 최신 모델은 테스트 환경에서 스스로를 종료시키려는 기술자들을 협박하려는 시도를 보인 바 있다.

반면, 벤지오가 구상하는 AI는 인간과 지적인 거리를 유지하고, 개인 조력자나 인간 대리인이 아니라 ‘독립된 과학자’처럼 행동하도록 설계된다. 

그는 “훈련 원칙은 완전히 다르지만, 최근 머신러닝의 발전을 충분히 활용할 수 있다”라고 설명했다.

[출처 : LAWZERO 홈페이지]

벤지오는 이번에 확보한 3천만 달러가 약 18개월 동안의 기초 연구에는 충분하다고 보고 있다. 현실적으로 AI 연구는 막대한 비용이 들며, 오픈AI(OpenAI)와 같은 기업들조차 추가 자금 유치에 어려움을 겪고 있다. 그럼에도 벤지오는 자금 조달이 큰 장애물이 되지는 않을 것이라며, “앞으로 더 많은 투자자들이 AI의 실질적 위험성을 이해하게 될 것”이라고 확신했다. 그는 정부 역시 향후 로우제로의 잠재적인 후원자가 될 수 있다고 덧붙였다.

글 / 홍정민 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com