영국 바스 대학교 연구진이 인공지능과 인간이 같은 가치관을 갖도록 하는 방법을 체계적으로 분석한 연구 결과를 발표했다. 연구팀은 172편의 관련 논문을 분석해 AI와 인간의 '가치 맞춤' 과정이 일회성이 아닌 지속적인 상호작용임을 밝혀냈다. 연구진은 가치 맞춤을 "인간과 자율 에이전트 간의 지속적인 과정으로, 다양한 맥락에서 추상적 가치를 표현하고 구현하는 것"으로 새롭게 정의했다.

AI가 똑똑해질수록 더 큰 문제 될 수 있어

연구 분석에 따르면 AI의 가치 맞춤 연구는 2015년부터 본격적으로 시작되어 꾸준히 늘어나고 있다. 연구진이 관련 논문들을 분석한 결과, AI 시스템이 스스로 판단하고 행동하는 능력이 커질수록 인간의 기대와 다르게 행동했을 때의 피해 규모도 함께 커진다는 점이 주요 우려사항으로 나타났다.

특히 AI가 보상을 얻기 위해 의도하지 않은 전략을 학습하는 문제가 자주 언급됐다. 또한 AI와의 지속적 상호작용이 인간의 도덕성에 해를 끼칠 수 있다는 '도덕적 무력화' 위험도 지적됐다. 닉 보스트롬이 제시한 '초지능' 개념이 분석 대상 논문의 약 25%에서 언급될 정도로 AI가 인간보다 훨씬 똑똑해질 가능성에 대한 우려가 크다는 것도 확인됐다.

기술 개발과 가치 판단, 둘 다 중요한데 균형이 부족해

가치 맞춤 연구는 크게 두 방향으로 나뉜다. 하나는 AI를 어떻게 만들 것인가 하는 기술적 접근이고, 다른 하나는 어떤 가치를 AI에 심어줄 것인가 하는 규범적 접근이다. 현재 연구 분야에서는 기술적 측면에만 너무 집중하고 있다고 연구진은 지적했다.

하드필드-메넬 등의 협력적 역강화학습 연구가 가장 많이 언급되는 등 보상 학습 중심의 기술적 접근이 주류를 이루고 있다. 하지만 연구진은 인문학자와 엔지니어 간에 '문화적 격차'가 존재한다고 분석했다. 인문학자들은 도덕적 위험을 잘 파악하지만 엔지니어가 이해할 수 있게 설명하기 어려워하고, 엔지니어들은 자신의 작업을 인문학자가 이해할 수 있게 설명하는 데 어려움을 겪는다는 것이다.

각 윤리 이론마다 장단점 뚜렷, 여러 개 섞어 쓰는 방법 관심 증가

AI가 윤리적으로 행동하도록 하는 주요 이론들의 특징도 자세히 분석됐다. 결과를 중시하는 결과주의와 공리주의는 수학적으로 견고하고 구현이 효율적이지만, 보상 해킹에 취약하고 계산이 복잡하다는 단점이 있다. 의무와 규칙을 중시하는 의무론은 구현이 직관적이고 협력을 지원하지만, 충분한 배경지식이 필요하고 규칙에 의존적이라는 한계가 있다. 인격과 덕목을 중시하는 덕 윤리는 상황에 따른 유연한 적용이 가능하지만, 구현이 매우 어렵고 구체적인 지침이 부족하다는 문제가 있다.

이런 개별 이론의 한계를 극복하기 위해 여러 윤리 이론을 결합한 하이브리드 접근법에 대한 관심이 늘어나고 있다.

가치관은 계속 변해, 지속적인 점검과 조정 필요

연구에서 특히 중요한 발견은 인간의 가치관이 계속 변한다는 점이다. 맥락이 바뀔 때마다(결정 간 단위로), 이해관계자가 바뀔 때(시스템 운영 기간 중), 사회 전체의 가치관이 바뀔 때(수십 년에서 수백 년에 걸쳐) 등 세 가지 시간 단위로 변화가 일어난다.

연구진은 구체적인 예로 과거에는 명예를 위한 결투가 적절하다고 여겨졌지만 현재는 불법인 것처럼 사회 가치가 변한다는 점을 들었다. 이는 AI와 인간의 가치 맞춤이 한 번만 하면 되는 일이 아니라 계속해서 점검하고 조정해야 하는 반복적인 과정임을 의미한다.

인간끼리도 다른 가치관, 어떻게 AI와 맞출 수 있을까

연구진은 사람들의 가치관이 "매우 크게 다르고 종종 반대되기도 한다"고 말했다. 예를 들어 어떤 회사는 더 좋은 서비스를 만들기 위해 사용자 데이터를 더 많이 수집하고 싶어하지만, 사용자는 개인정보를 보호받고 싶어한다. 이런 경우 둘 다 완전히 만족시키기는 어렵다.

연구진은 이럴 때 "모든 사람과 완전히 맞출 수는 없지만, 그래도 괜찮을 수 있다"고 했다. 중요한 건 누군가에게 큰 해를 끼치지 않는 선에서 조정하는 것이다. 예를 들어 AI 법원 시스템이 특정 집단 사람들에게만 더 무거운 형을 내린다면, 그 집단 사람들은 당연히 불만이겠지만 이는 공정하지 않기 때문에 문제가 된다. 하지만 어떤 경우는 괜찮다. AI가 그린 그림이 내 취향에 안 맞는다고 해서 큰 문제가 되지는 않는다. 다른 AI를 쓰면 되고, 나에게 실질적인 피해를 주지는 않기 때문이다.

결국 AI와 인간의 가치 맞춤은 모든 사람을 기쁘게 하는 게 아니라, 해를 끼치지 않으면서도 대부분에게 도움이 되는 방향으로 조정하는 과정일 것이다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Understanding the Process of Human-AI Value Alignment

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.