When Autonomy Breaks: The Hidden Existential Risk of AI

인류의 진짜 위협은 AI가 인간처럼 되는 것이 아니라 ‘인간이 기계처럼 되는 것’

인공지능(AI)의 위험은 일반적으로 인류에 대한 물리적 위협이나 통제력 상실, 사고로 인한 인류 멸종 등으로 논의되지만, 실제로는 인간 자율성의 점진적이고 돌이킬 수 없는 감소가 간과된 중요한 위험 요소다. AI가 삶의 여러 영역에서 인간을 능가하기 시작하면, 인간의 의사결정, 창의성, 사회적 돌봄, 심지어 리더십에 의존하는 것이 더 이상 합리적이지 않은 전환점에 도달할 것이다.

자율성은 인간이 외부 통제 없이 자신의 동기로 자신의 삶의 방향을 결정할 수 있는 능력을 의미한다. 이는 인간이 무엇인가에 대한 필수적인 요소로, 도덕성, 인격, 자기 주도적 삶의 이해에 중심 역할을 한다. 자율성의 상실은 인간을 노예와 유사한 상태로 만들며, 이는 더 나은 결과가 약속된다 해도 보상받을 수 없는 근본적인 피해다.

많은 전문가들은 인간이 가진 능력이 본질적이고 불변하다고 주장하지만, 조슈아 크룩 교수의 연구 논문에 따르면, AI가 발전된 세계에서 인간은 비판적 사고, 의사결정, 심지어 사회적 돌봄과 같은 능력을 잃어버릴 수 있다. 가장 큰 위협은 기계가 인간처럼 되는 것이 아니라, 인간이 기계처럼 되는 것이다.

7개월마다 두 배로 늘어나는 AI 능력: 의학 시험에서 인간 능가하는 GPT-4

인공지능은 최근 폭발적인 성장을 보이며 다양한 테스트와 지표에서 성과를 내고 있으며, 심지어 튜링 테스트를 통과할 가능성도 있다. 대형 언어 모델(LLM)인 ChatGPT, Gemini, Microsoft의 Co-Pilot 등은 인간 수행 테스트에서 기하급수적인 성능 향상을 보여주고 있다.

ChatGPT의 경우 미국 의사면허시험에서 GPT-3는 50%, GPT-3.5와 GPT-4는 각각 62.5%와 90%의 점수를 받았다. 치과 시험에서도 GPT-4는 독해력과 다른 주요 성능 지표에서 GPT-3.5를 크게 능가했다. AI 시스템의 도메인 능력을 인간 성능과 비교한 연구에 따르면, 시간이 지남에 따라 이해력, 이미지 인식, 언어 이해, 음성 인식, 복잡한 추론 등 모든 지표에서 기하급수적인 성능 향상이 있었으며, 현재 모델은 이해력, 이미지 인식, 언어 이해 및 미묘한 언어 해석에서 인간의 성능을 능가하고 있다.

AI는 단순히 능력이 향상되는 것을 넘어 수행할 수 있는 작업의 길이도 7개월마다 두 배로 증가하고 있다. 이는 AI가 점점 더 긴 시간 동안 인간의 개입 없이 작업을 수행할 수 있다는 것을 의미한다. 이러한 자율 시스템은 인간을 대신하여 행동하고 결정을 내릴 수 있는 능력이 더 강화될 것이다.

23%의 학생들이 이미 숙제를 AI에 맡기는 시대: 데이팅부터 법률 조언까지 확장되는 의존

인간들은 이미 다양한 낮은 수준의 시나리오에서 AI에 결정을 아웃소싱하기 시작했다. 알고리즘은 Spotify에서 듣는 노래, Netflix에서 시청하는 프로그램, Amazon에서 구매하는 항목을 자동으로 결정하고 있다. 데이팅 앱들은 온라인에서 만날 상대를 결정하기 위해 알고리즘을 사용하고 있으며, "스와이프 피로"를 해결하기 위해 범블의 CEO는 사용자의 호환성을 결정하기 위해 "서로 데이트하는" AI 챗봇 사용을 모색하고 있다. 틴더도 사용자가 더 이상 프로필을 스와이프하지 않고 자동으로 선택되는 AI 기반 매칭을 테스트하고 있다.

더 높은 수준의 시나리오에서 인간들은 이제 챗봇에게 의료 조언, 정신 건강 조언, 법률 조언을 요청하고 있다. 한 연구에 따르면 사용자들은 해당 분야 전문가인 실제 변호사보다 LLM 챗봇의 법률 조언을 선호했다. 또 다른 연구에서는 사용자들이 부동산법, 세법, 임대법, 교통법에 대한 조언을 LLM에 의존할 의사가 있었지만, 이혼이나 민사 소송과 같은 더 개인적인 사안에 대해서는 그렇지 않았다. 의료 조언의 경우, 한 연구에서는 사용자들이 당혹스러운 의학적 문제에 대해 실제 의사보다 LLM과 대화하는 것을 더 선호했다.

대학생들도 과제와 숙제를 위해 ChatGPT와 다른 LLM에 의존하고 있다. 최근 연구에 따르면 학생의 23.1%가 초안 작성을 위해 ChatGPT에 과제와 숙제를 아웃소싱했다고 보고했다. 다른 연구에서는 학생들이 시간 압박과 업무량 문제에 직면했을 때 ChatGPT에 자신의 작업을 아웃소싱할 가능성이 더 높다는 것을 발견했다. 작업을 AI에 아웃소싱한 학생들은 높은 지연 행동과 기억 상실, 그리고 낮은 학업 성과를 보였다.

13년간 자율성을 잃은 브리트니 스피어스: AI 후견인 제도의 불편한 미래상

인간이 중요한 결정을 AI에 의존하기 시작하면, 이는 법적 후견인 제도와 유사한 상황을 초래할 수 있다. 후견인 제도에서 판사는 효과적으로 결정을 내릴 수 없다고 판단되는 사람의 재정, 재산, 생활 선택에 대한 결정 능력을 박탈한다. 그 사람의 결정은 그 사람의 최선의 이익을 위해 모든 결정을 책임지는 보호자나 간병인에 의해 이루어진다. 상상된 미래에서는 AGI가 인류 전체를 인류의 이익을 위해 후견인 제도하에 두고, 우리가 할 수 있는 것보다 더 똑똑하고, 빠르고, 합리적인 결정을 내릴 것이다. 실제로 우리가 더 나쁜 결정을 내릴 것이기 때문에 이렇게 하는 것이 완전히 정당화될 것이다.

최근 몇 년간 후견인 제도의 가장 유명한 사례 중 하나는 팝 가수 브리트니 스피어스의 사례다. 2008년부터 2021년까지(13년 동안) 브리트니는 아버지 제임스 "제이미" 스피어스에게 후견인 제도에 놓였다. 이는 그녀가 인생에서 내린 일련의 나쁜 결정 후였다. 그녀의 자율성은 그녀의 아버지가 그녀의 업무를 관리하는 데 더 능숙하다는 전제하에 그녀 자신의 이익을 위해 빼앗겼다. 브리트니 스피어스 사례가 우리에게 가르쳐주는 것은 당신의 삶에 대한 모든 결정을 다른 사람이 내릴 때 오는 무력감이다. 이것은 당신 자신의 최선의 이익을 위해 그러한 결정이 내려진다 해도 마찬가지다. 브리트니 사례는 극도로 지능적인 AGI 하에서 삶이 어떨지에 대한 비유로, 이 AGI는 우리를 위한 모든 결정을 내릴 것이다.

사용하지 않으면 잃게 된다: 생성형 AI 사용 시 인지 노력 감소와 비판적 사고력 저하 현상

인류가 AGI에 결정을 아웃소싱하기 시작하면, 기술의 쇠퇴로 인해 우리가 스스로 결정을 내릴 수 있는 능력이 떨어지는 시점이 올 수 있다. 문헌에서 이것은 "탈숙련화(de-skilling)"라고 한다. 탈숙련화는 이전 기술 혁명에서 잘 문서화되어 있다. 인간 노동자는 진보된 기술에 직면했을 때 기술이 도입되기 전에 가지고 있던 기술을 잃게 된다. 때로는 일자리 감소 때문이고, 때로는 기계가 그 일을 효과적으로 수행하기 때문에 인간이 더 이상 그 기술을 연습할 필요가 없기 때문이다. 여기서 기술은 근육과 같아서, 사용하지 않으면 잃게 된다.

최근 마이크로소프트 연구자들에 의한 생성형 AI에 대한 연구에서 탈숙련화가 주요 관심사로 확인되었다. 하오핑 등의 연구에 따르면 업무 작업 중 직원들의 생성형 AI 사용은, 자가 보고된 인지적 노력의 감소를 가져왔다. 319명의 지식 노동자에 대한 설문 조사가 직장에서 생성형 AI의 936가지 예시를 공유했다. 생성형 AI에 대한 더 높은 신뢰도는 낮은 비판적 사고와 연관되었고, 반면 낮은 신뢰도는 높은 비판적 사고와 연관되었다.

블룸의 분류법을 사용하여 우리는 비판적 사고를 여섯 가지 유형으로 분류할 수 있다: "지식(아이디어의 회상), 이해(아이디어 이해 실증), 응용(아이디어를 실천에 옮김), 분석(아이디어 대조 및 연관), 종합(아이디어 결합), 그리고 평가(기준을 통한 아이디어 판단)." 생성형 AI 작업자의 활동 대부분은 후자인 "판단"에 속하며, 기계가 제공하는 출력을 검토한다. 이는 지식 회상, 이해, 종합과 같은 초기 기술이 직접적으로 위축되며, 이제 LLM 시스템 자체에 의해 수행됨을 의미한다.

FAQ

Q: 인공지능의 발전으로 인해 인간의 자율성이 진짜로 위협받을 수 있나요?

A: 네, 연구에 따르면 AI가 더 똑똑해지고 우리의 결정을 대신하기 시작하면서 인간은 점차 의사결정, 비판적 사고, 창의성과 같은 중요한 능력을 잃을 수 있습니다. 이미 많은 사람들이 음악 선택, 시청할 콘텐츠, 데이팅까지 AI에 맡기고 있으며, 이런 의존도가 증가할수록 우리의 자율성은 줄어들게 됩니다.

Q: AI에 결정을 맡기는 것이 더 효율적이고 좋은 결과를 가져온다면 나쁜 건가요?

A: 효율성과 더 나은 결과만으로는 자율성 상실이라는 대가를 정당화하기 어렵습니다. 자율성은 인간이 된다는 것의 본질적인 부분으로, 스스로 결정하고 삶의 방향을 정하는 능력을 잃으면 우리의 삶에 대한 통제력과 의미 있는 경험이 크게 손상됩니다. 브리트니 스피어스의 후견인 제도 사례처럼, 다른 누군가(또는 AI)가 모든 결정을 내릴 때 발생하는 무력감은 결과가 좋더라도 큰 심리적 비용을 수반합니다.

Q: AI에 의존하면서도 인간의 능력을 유지할 수 있는 방법이 있을까요?

A: 인간과 AI가 완전한 종속 관계에 빠지지 않고 서로 유익하게 공존할 수 있는 방법을 모색해야 합니다. 협력적인 인간-기계 접근 방식은 자율성 상실의 위험을 줄일 수 있습니다. 핵심은 AI가 인간의 의사결정을 대체하기보다 보완하는 방식으로 사용되어야 한다는 것입니다. 또한 우리는 의도적으로 비판적 사고, 창의성, 대인관계 능력과 같은 인간적 기술을 계속 연습하고 개발해야 합니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.