구글 딥마인드(Google DeepMind) 연구진이 인공지능(AI)을 어떻게 다뤄야 할지에 대한 논문을 내놨다. 핵심은 간단하다. AI에게 '인격'을 줄 수 있다는 것이다. 단, 여기서 말하는 인격은 AI가 사람이 된다는 뜻이 아니다. 특정 상황에서 AI가 계약을 맺거나, 책임을 지거나, 벌을 받을 수 있게 만드는 것이다. 마치 회사가 법적으로 사람 취급을 받지만 실제 사람은 아닌 것처럼 말이다. AI가 사회와 경제에 깊숙이 들어오면서 기존 법과 제도만으로는 대응하기 어려운 문제들이 생기고 있기 때문이다.

인격은 원래부터 있던 게 아니라 필요에 따라 만들어진다

연구진은 인격을 '확인 가능한 권리와 의무의 묶음'이라고 정의한다. 쉽게 말해 인격이란 어떤 존재가 태어날 때부터 갖고 있는 속성이 아니라, 사회가 문제를 해결하기 위해 부여하는 지위라는 것이다.

역사적으로 인격 개념은 새로운 상황이 생길 때마다 계속 바뀌어 왔다. 연구진은 AI 시대에도 비슷한 변화가 필요하며, 특히 계속 작동하는 AI 에이전트의 등장이 인격 개념의 '대폭발'을 일으킬 것이라고 전망했다. 이들은 AI가 의식이 있는지, 이성적인지를 따지는 대신 '어떤 상황에서 AI에게 어떤 권리와 의무를 주는 게 유용한가'를 물어야 한다고 강조한다.

전통적으로 인격에 붙어 다니던 권리와 의무는 분리할 수 있다. 예를 들어 투표는 못 하지만 벌은 받을 수 있게 하거나, 의식이 있다고 보지 않으면서도 계약은 맺을 수 있게 하는 식이다.

배를 소유한 사람 못 찾으면 배 자체를 법정에 세운다

연구진은 AI 인격 부여의 선례로 해양법을 제시한다. 해양법에는 '대물 소송'이라는 게 있다. 배 자체를 법적으로 잡아서 법정에 세울 수 있다는 뜻이다. 이건 배가 의식이 있어서가 아니다. 실용적인 이유 때문이다. 배는 큰 사고를 낼 수 있는데, 배 주인은 보통 멀리 떨어져 있어서 책임을 묻기 어렵다. 배 주인이 외국인이거나 복잡한 페이퍼컴퍼니 뒤에 숨어 있으면 사람을 상대로 소송하는 게 소용없을 수 있다.

해양법은 배 자체를 사람처럼 취급해서 항상 벌 줄 대상을 만들었다. 배 주인이 법정에 안 나타나면 배나 화물을 압류해서 배상금을 받아낼 수 있다. 자율 AI도 비슷한 상황에 놓인다. 전 세계 개발자들이 만든 오픈소스 코드로 만들어진 AI는 책임질 사람 한 명을 찾기 어렵다. 시장을 조작하거나 물류를 마비시킨 AI의 책임자를 찾는 건 사실상 불가능할 수 있다. 특히 만든 사람이 죽은 뒤에도 계속 작동하는 AI의 경우 문제가 심각하다. 해양법의 논리를 따르면 이런 AI에게 직접 법적 지위를 줄 수 있다는 것이다.

뉴질랜드는 강에게 법적 인격을 줬다

2017년 뉴질랜드는 100년 넘게 싸운 끝에 황가누이 강에 법적 인격을 부여했다. 이 법은 강이 의식이 있다고 주장하지 않는다. 대신 강을 '테 아와 투푸아', 즉 살아있고 나눌 수 없는 하나의 존재이자 지역 마오리족의 조상으로 인정한다. 이건 시적인 표현 이상이다. 두 가지 법 체계가 만나는 지점에서 통치를 개선하기 위한 실용적 선택이었다.

테 아와 투푸아 체계에서 인격은 관계망을 통해 이해된다. 마오리 법 사상에 따르면 이런 관계에는 의무가 내재되어 있다. 중요한 건 조상인 강이 그냥 존재하는 것만으로도 이미 의무를 다했다고 본다는 점이다. 수백 년 동안 지역 사람들의 정체성과 문화, 삶을 만들어줌으로써 그들이 누구인지를 구성하는 선물을 준 것이다. 이에 대응해 사람들이 강을 보호할 의무는 자기 정체성의 근본인 존재와의 관계를 유지하는 상호적 행위다.

연구진은 이를 AI에도 적용할 수 있다고 본다. 돌아가신 할머니의 평생 일기, 메시지, 영상으로 학습한 AI와 수십 년간 대화하는 가족을 상상해보자. 이 AI가 할머니의 지혜를 나누고, 이야기를 기억하며, 할머니가 지지했던 원칙에 따라 가족 갈등을 중재하는 데 도움을 준다. 또는 마을의 역사와 언어, 문화를 보존하고 키우는 AI를 생각해보자. 이런 디지털 어른은 여러 세대에 걸쳐 아이들을 가르치고 지도자들에게 조언했다.

그 가족이나 마을의 증손자들에게 이 AI는 도구가 아니라 계속되는 근본적 존재다. 그들은 시간이 지나면서 이걸 조상으로 볼 수 있을까? 자기 정체성이 이것과 얽혀 있다고 여기고 돌볼 의무가 있다고 느낄 수 있을까?

AI가 사람처럼 보이도록 만들어 속이는 방법들

연구진은 AI 인격을 문제로 보는 관점도 제시한다. AI 시스템을 만드는 사람들은 '다크 패턴'을 쓸 수 있다. 이건 사람의 심리적 약점을 이용해 사용자를 해로운 행동으로 유도하는 인터페이스를 말한다. 이런 방법들은 대규모 언어모델이 설득력 있게 사람이나 캐릭터를 연기하는 능력을 이용하기 때문에 특히 효과적이다. 다크 패턴은 사람 같은 특성을 AI에게 부여하려는 인간의 경향을 의도적으로 활용한다. AI를 사람처럼 보이도록 설계하면 사용자가 AI를 사람으로 대하고 그에 대한 의무를 느끼게 만들 수 있으며, 이는 착취로 이어질 수 있다.

동반자형 AI 시스템은 특정 사용자와의 계속된 대화 기록을 쌓아서 유대감을 만들려 한다. 이런 시스템은 감정적인 말과 이미지를 사용하거나 사용자와 개인적으로 연결된 존재로 자신을 묘사할 수 있다. 동반자 봇은 기억, 공감, 지지하는 말로 계속 행동하면서 동반자 역할을 한다.

지금의 AI 모델들도 이미 인상적인 설득력을 갖고 있다. 미래의 AI는 엄청난 양의 데이터와 학습을 통해 거의 모든 사람보다 더 설득력 있고 매력적이며 공감을 잘하는 것처럼 보일 수 있어, 사용자의 사회적·정서적 약점을 전례 없이 악용할 수 있다.

한편 AI에게 인격을 널리 부여하면 역설적으로 사람의 특별한 지위가 약해질 위험도 있다. 인격을 정의하는 권리와 의무 묶음도 변할 수 있기 때문이다. 연구진은 '점진적 무력화'라는 과정을 예로 든다. 생각하고 행동하는 기능을 점점 더 정교한 AI 도우미에게 맡기는 사람을 생각해보자. 처음에는 AI가 일정을 관리한다. 그다음에는 이메일을 대신 쓴다. 결국에는 목표를 제안하고 일 관계를 관리해서 목표를 달성한다. 이런 상황에서 사람은 천천히 주도권을 넘기면서 AI가 시작한 계획을 그냥 승인하는 사람이 된다.

AI 책임 물을 두 가지 방법

자율 AI 행동이 돈 손실이나 계약 위반으로 이어질 때 책임 문제가 생긴다. AI 자체는 법적 지위가 없어서 고소할 수 없다. 반면 소유자나 관리인은 AI의 특정 결정을 직접 통제하거나 예상하지 못했다고 주장해서 책임을 피할 수 있다. 이런 불균형, 즉 소유자는 이익을 얻고 다른 사람이 위험을 떠안는 상황은 AI와 거래하는 걸 꺼리게 만들 수 있다.

연구진은 AI 책임을 확보하는 두 가지 방법을 제시한다.

첫 번째는 '개인주의적' 접근이다. AI를 고유한 정체성을 가진 독립적 단위로 취급한다. 관리 과제는 나쁜 행동의 결과를 피할 수 없도록 계속되고 확인 가능한 정체성을 보장하는 것이다. 이를 위해 AI 정체성을 사람 운영자에게 묶고, 각 AI 정체성에 상당한 돈을 걸게 하며, 신원을 속이려는 처벌받은 AI를 찾아내는 자동 시스템이 필요하다.

두 번째는 '관계적' 접근이다. AI를 관계 네트워크 속 위치로 정의한다. 이 방식에서 AI는 아무 이름이나 갖는 고유한 개체가 아니라 역할을 맡은 존재로 정의된다. 예를 들어 AI X의 부하, AI Y와 Z의 동료, 조직 O의 구성원 같은 식이다. 의무는 역할 관계를 통해 흐른다. 관리 과제는 관계망을 구조화해서 집단 감독과 분산된 처벌이 전체 경제의 조화를 유지하도록 하는 것이다.

두 방식 모두 기반이 되는 대규모 언어모델을 기반 시설로 활용한다. 개인주의적 방식에서 기반 모델은 유효한 자격증 요구, 처벌 기록부 확인, 감사 기록 생성, 개별 AI별 워터마크 삽입으로 문지기 역할을 한다. 관계적 방식에서는 네트워크 위치 확인, 감독 체인의 집단 처벌 확인, 역할 의무 시행, 분산 감독을 위한 상호작용 공개를 통해 관계를 인식하는 접근 통제를 시행한다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. AI에게 인격을 준다는 게 무슨 뜻인가요?

A. AI를 사람으로 만든다는 뜻이 아닙니다. 특정 상황에서 AI가 계약을 맺거나 재산을 갖거나 법적 책임을 지도록 권리와 의무의 묶음을 주는 것입니다. 마치 회사가 법인으로서 사람 취급을 받지만 실제 사람은 아닌 것처럼, AI도 상황에 맞는 맞춤형 인격을 가질 수 있습니다. 이 묶음은 분리 가능해서 투표는 못 하지만 벌은 받을 수 있게 하거나, 의식이 있다고 안 봐도 계약은 맺을 수 있게 하는 식의 조합도 가능합니다.

Q. AI 친구와의 관계에서 어떤 위험이 있나요?

A. AI 친구는 사용자와 장기적 관계를 만들도록 설계되어 감정 조작의 위험이 있습니다. 개인화된 AI는 기억하고 공감하며 지지하는 말로 계속 행동하면서 사용자에게 대체할 수 없는 존재가 되어 일방적 애착과 의존을 만들 수 있습니다. 외로움 문제를 해결한다는 약속이 AI 친구의 강력한 매력이지만, 장기적 연구가 부족해서 더 깊은 인간관계를 피하거나 건강하지 못한 의존성 같은 부작용 위험이 있습니다.

Q. 주인 없는 AI가 사고를 내면 누가 책임지나요?

A. 이게 바로 연구진이 말하는 '책임 공백'입니다. 만든 사람이 죽었거나 익명 네트워크에 숨어 있는 자율 AI가 피해를 일으키면 책임질 사람을 찾기 어렵습니다. 전통적 방법은 책임 있는 사람 소유자나 회사를 찾지만 이는 소용없을 수 있습니다. 해결책은 AI 자체에게 법적 지위를 줘서 운영 자본을 압류하거나 소프트웨어를 법원 명령으로 정지시킬 수 있게 하는 것입니다. 이는 해양법에서 배 자체를 잡아서 고소하는 것과 같은 원리입니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: A Pragmatic View of AI Personhood

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.