Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI

15%에 달하는 AI 시스템이 '고위험'...EU, 자동화 편향성 첫 법제화

옥스포드 인터넷 연구소의 요한 로욱스(Johann Laux)와 하겐대학교의 한나 루셰마이어(Hannah Ruschemeier) 교수가 발표한 연구에 따르면, 유럽연합(EU)의 AI법(AI Act)은 인공지능 시스템을 감독하는 인간의 편향성 문제를 처음으로 법제화했다. EU 집행위원회는 EU 시장의 AI 시스템 중 5-15%가 고위험 시스템으로 분류될 것으로 예상했다. 특히 AI법 제14조는 고위험 AI 시스템에 대한 인간의 감독을 의무화하면서, '자동화 편향성(Automation Bias)'이라는 심리적 현상을 명시적으로 언급했다.

"AI 맹신이 위험" 유럽의회 경고...2021년 AI법 초안에 자동화 편향성 포함

AI법의 입법 과정을 보면, 2021년 4월 21일 위원회 초안에서 처음으로 자동화 편향성이 언급됐다. 유럽의회는 "AI 역량이 보안 위험을 초래할 수 있으며, 인간이 자신의 판단보다 AI를 더 신뢰하게 될 수 있다"고 경고했다. 또한 "실험 결과가 보여주듯이, 이는 AI의 자율성 수준을 원래 설계된 지원 역할 이상으로 높일 수 있으며, 인간이 AI 시스템에 대한 경험과 지식을 쌓을 기회를 놓치게 된다"고 지적했다.

의료에서 국가안보까지...자동화 편향성이 영향 미치는 10개 분야

자동화 편향성은 다양한 분야에서 확인됐다. 연구진이 밝힌 주요 영향 분야는 의료, 군사, 인사관리, 국가안보, 공공행정, 교육, 공공계약 입찰, 망명 심사, 형사 소송, 민주적 절차 등이다. 발생 원인으로는 사용자의 피로도, 성실성, 결과에 대한 책임, 교육 수준, 정보 제시 방식, 시스템 인터페이스 설계, 환경적 제약, 업무 부하, 과제 복잡성, 사회적 환경 등이 복합적으로 작용한다.

채용 AI 사례로 본 편향성 판단의 어려움..."여성 선발률 75%가 불공정한가?"

연구진은 채용 AI 시스템 사례를 통해 편향성 판단의 복잡성을 설명했다. AI 시스템 공급자는 불공정 여부를 판단하기 위한 기준으로 '소수 그룹의 선발률이 최고 선발률의 80% 이상이어야 한다'는 자체 기준을 제시했다. 전체 지원자가 남녀 각각 10명일 때, 여성 3명(30%)과 남성 4명(40%)이 면접 대상자로 선발된 경우를 보자. 여성 선발률이 남성 선발률의 75%로, 공급자가 제시한 80% 기준에 미달해 수치상으로는 불공정하다.

그러나 연구진은 이런 통계적 증거만으로는 실제 불공정 여부를 판단하기 어렵다고 지적했다. AI법 제14조에 따르면 인간 감독자는 단순히 AI 공급자가 제시한 통계적 기준이 아닌, EU 차별금지법의 요구사항을 고려해야 한다. EU 차별금지법은 지금까지 통계적 증거보다는 맥락과 사법적 직관에 더 의존해왔다. 즉, 공급자의 통계적 기준을 충족하지 못했더라도, 구체적인 상황과 맥락을 고려했을 때는 해당 채용 과정이 공정하다고 판단될 수 있다는 것이다. 이는 편향되지 않은 '참된 결과'를 정의하는 것이 얼마나 어려운지를 보여주는 사례다.

AI법 제6조의 허점..."인간 검토만 있으면 고위험 제외"

AI법 제6조(3)은 중요한 보호의 공백을 만들 수 있다고 연구진은 지적했다. 이 조항에 따르면 "적절한 인간 검토 없이 이전 평가를 대체하거나 영향을 미치지 않는" AI 시스템은 고위험으로 분류되지 않는다. 하지만 시스템이 단순히 '지원' 역할만 한다고 해도 자동화 편향성으로 인해 인간이 AI의 제안에 과도하게 의존할 수 있다. 더욱이 AI의 영향을 받지 않았다는 것을 증명하기도 어렵다. 이는 사전 검토 없이 공급자의 자체 평가에만 의존하기 때문에 상당한 보호의 공백이 생길 수 있다는 것이 연구진의 분석이다.

"AI 불신도 문제"...과잉수정이 가져올 수 있는 부작용

자동화 편향성을 막으려는 조치들이 오히려 AI 시스템에 대한 과도한 불신을 초래할 수 있다고 연구진은 경고했다. 이러한 과잉수정은 AI 도입으로 얻을 수 있는 이점을 저해할 수 있다. AI법 제14조는 이런 맥락에서 해석될 수 있는데, AI 시스템의 제안을 잘못 거부하는 것이 잘못 수용하는 것보다 덜 문제가 된다는 규범적 선택을 반영한다는 것이다. 이는 인간의 자율성을 우선시하되, 그 대가로 발생할 수 있는 인간의 실수를 감수하겠다는 의미로 해석된다.

EU GDPR과의 관계..."AI 감독자 인식 개선만으로는 부족"

AI법은 GDPR(일반 데이터 보호 규정)과 함께 적용된다. 최근 유럽사법재판소의 SCHUFA 판결에 따르면, AI법 제14조와 제26조의 요구사항을 충족하더라도 GDPR 제22조의 자동화된 결정으로 간주될 수 있다. 즉, 형식적으로 책임자에게 결정 권한이 있더라도, 최종 결정이 자동화된 이전 결정에 크게 의존한다면 자동화된 결정으로 볼 수 있다는 것이다.

"골드 스탠다드는 실험적 검증"...비용 문제로 전면 도입은 난관

연구진은 자동화 편향성 방지를 위한 최선의 방안으로 실험적 검증을 제시했다. 특정 감독 체계에서 자동화 편향성이 발생할 가능성을 경험적으로 테스트하는 것이다. 대안으로는 현재의 과학적 연구 결과를 반영한 체크리스트 도입을 제안했다. 다만 실험적 검증은 모든 고위험 AI 시스템에 적용하기에는 비용이 많이 든다는 한계가 있다.

해당 기사에 인용된 논문 원문은 링크에서 확인 가능하다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다.