비교하고 잘 사는, 다나와 : 가격비교 사이트

다나와 앱
다나와 앱 서비스 목록
다나와 APP
다나와 가격비교 No.1 가격비교사이트 다나와 앱으로
간편하게 최저가를 확인하세요.
- -
QR코드
빈 이미지
다나와 앱 서비스 목록 닫기

AI가 제안하면 무조건 따르시나요? EU AI법이 경고하는 '자동화 편향성'

2025.02.19. 10:49:10
조회 수
287
3

공유하기

레이어 닫기

지금 보는 페이지가 마음에 든다면
공유하기를 통해 지인에게 소개해 주세요.

로그인 유저에게는 공유 활동에 따라
다나와 포인트가 지급됩니다.

자세히 >

URL이 복사되었습니다.
원하는 곳에 붙여넣기(Ctrl+V)하세요.

레이어 닫기

Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI


15%에 달하는 AI 시스템이 '고위험'...EU, 자동화 편향성 첫 법제화

옥스포드 인터넷 연구소의 요한 로욱스(Johann Laux)와 하겐대학교의 한나 루셰마이어(Hannah Ruschemeier) 교수가 발표한 연구에 따르면, 유럽연합(EU)의 AI법(AI Act)은 인공지능 시스템을 감독하는 인간의 편향성 문제를 처음으로 법제화했다. EU 집행위원회는 EU 시장의 AI 시스템 중 5-15%가 고위험 시스템으로 분류될 것으로 예상했다. 특히 AI법 제14조는 고위험 AI 시스템에 대한 인간의 감독을 의무화하면서, '자동화 편향성(Automation Bias)'이라는 심리적 현상을 명시적으로 언급했다.

"AI 맹신이 위험" 유럽의회 경고...2021년 AI법 초안에 자동화 편향성 포함

AI법의 입법 과정을 보면, 2021년 4월 21일 위원회 초안에서 처음으로 자동화 편향성이 언급됐다. 유럽의회는 "AI 역량이 보안 위험을 초래할 수 있으며, 인간이 자신의 판단보다 AI를 더 신뢰하게 될 수 있다"고 경고했다. 또한 "실험 결과가 보여주듯이, 이는 AI의 자율성 수준을 원래 설계된 지원 역할 이상으로 높일 수 있으며, 인간이 AI 시스템에 대한 경험과 지식을 쌓을 기회를 놓치게 된다"고 지적했다.

의료에서 국가안보까지...자동화 편향성이 영향 미치는 10개 분야

자동화 편향성은 다양한 분야에서 확인됐다. 연구진이 밝힌 주요 영향 분야는 의료, 군사, 인사관리, 국가안보, 공공행정, 교육, 공공계약 입찰, 망명 심사, 형사 소송, 민주적 절차 등이다. 발생 원인으로는 사용자의 피로도, 성실성, 결과에 대한 책임, 교육 수준, 정보 제시 방식, 시스템 인터페이스 설계, 환경적 제약, 업무 부하, 과제 복잡성, 사회적 환경 등이 복합적으로 작용한다.

채용 AI 사례로 본 편향성 판단의 어려움..."여성 선발률 75%가 불공정한가?"

연구진은 채용 AI 시스템 사례를 통해 편향성 판단의 복잡성을 설명했다. AI 시스템 공급자는 불공정 여부를 판단하기 위한 기준으로 '소수 그룹의 선발률이 최고 선발률의 80% 이상이어야 한다'는 자체 기준을 제시했다. 전체 지원자가 남녀 각각 10명일 때, 여성 3명(30%)과 남성 4명(40%)이 면접 대상자로 선발된 경우를 보자. 여성 선발률이 남성 선발률의 75%로, 공급자가 제시한 80% 기준에 미달해 수치상으로는 불공정하다.

그러나 연구진은 이런 통계적 증거만으로는 실제 불공정 여부를 판단하기 어렵다고 지적했다. AI법 제14조에 따르면 인간 감독자는 단순히 AI 공급자가 제시한 통계적 기준이 아닌, EU 차별금지법의 요구사항을 고려해야 한다. EU 차별금지법은 지금까지 통계적 증거보다는 맥락과 사법적 직관에 더 의존해왔다. 즉, 공급자의 통계적 기준을 충족하지 못했더라도, 구체적인 상황과 맥락을 고려했을 때는 해당 채용 과정이 공정하다고 판단될 수 있다는 것이다. 이는 편향되지 않은 '참된 결과'를 정의하는 것이 얼마나 어려운지를 보여주는 사례다.


AI법 제6조의 허점..."인간 검토만 있으면 고위험 제외"

AI법 제6조(3)은 중요한 보호의 공백을 만들 수 있다고 연구진은 지적했다. 이 조항에 따르면 "적절한 인간 검토 없이 이전 평가를 대체하거나 영향을 미치지 않는" AI 시스템은 고위험으로 분류되지 않는다. 하지만 시스템이 단순히 '지원' 역할만 한다고 해도 자동화 편향성으로 인해 인간이 AI의 제안에 과도하게 의존할 수 있다. 더욱이 AI의 영향을 받지 않았다는 것을 증명하기도 어렵다. 이는 사전 검토 없이 공급자의 자체 평가에만 의존하기 때문에 상당한 보호의 공백이 생길 수 있다는 것이 연구진의 분석이다.

"AI 불신도 문제"...과잉수정이 가져올 수 있는 부작용

자동화 편향성을 막으려는 조치들이 오히려 AI 시스템에 대한 과도한 불신을 초래할 수 있다고 연구진은 경고했다. 이러한 과잉수정은 AI 도입으로 얻을 수 있는 이점을 저해할 수 있다. AI법 제14조는 이런 맥락에서 해석될 수 있는데, AI 시스템의 제안을 잘못 거부하는 것이 잘못 수용하는 것보다 덜 문제가 된다는 규범적 선택을 반영한다는 것이다. 이는 인간의 자율성을 우선시하되, 그 대가로 발생할 수 있는 인간의 실수를 감수하겠다는 의미로 해석된다.

EU GDPR과의 관계..."AI 감독자 인식 개선만으로는 부족"

AI법은 GDPR(일반 데이터 보호 규정)과 함께 적용된다. 최근 유럽사법재판소의 SCHUFA 판결에 따르면, AI법 제14조와 제26조의 요구사항을 충족하더라도 GDPR 제22조의 자동화된 결정으로 간주될 수 있다. 즉, 형식적으로 책임자에게 결정 권한이 있더라도, 최종 결정이 자동화된 이전 결정에 크게 의존한다면 자동화된 결정으로 볼 수 있다는 것이다.

"골드 스탠다드는 실험적 검증"...비용 문제로 전면 도입은 난관

연구진은 자동화 편향성 방지를 위한 최선의 방안으로 실험적 검증을 제시했다. 특정 감독 체계에서 자동화 편향성이 발생할 가능성을 경험적으로 테스트하는 것이다. 대안으로는 현재의 과학적 연구 결과를 반영한 체크리스트 도입을 제안했다. 다만 실험적 검증은 모든 고위험 AI 시스템에 적용하기에는 비용이 많이 든다는 한계가 있다.

해당 기사에 인용된 논문 원문은 링크에서 확인 가능하다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다.





AI Matters 뉴스레터 구독하기

공감/비공감

공감/비공감안내도움말 보기
유용하고 재미있는 정보인가요?
공감이 된다면 공감 버튼을, 그렇지 않다면 비공감 버튼을 눌러 주세요!
공감이나 비공감을 선택 하는 경우 다나와 포인트를 적립해 드립니다. ※ 공감 버튼의 총 선택 횟수는 전체 공개입니다. 비공감 버튼의 선택 여부는 선택한 본인만 알 수 있습니다.
최신 일반뉴스 전체 둘러보기
1/1
두 비즈니스맨의 관계에 균열이 시작되었다 – 트럼프와 머스크 (2) 글로벌오토뉴스
BYD, 1분기 순이익 두 배 증가…전기차·하이브리드 판매 호조 (1) 글로벌오토뉴스
메르세데스-마이바흐 S-클래스의 품격, 가장 안락한 퍼스트클래스급 승차감을 제공한다 글로벌오토뉴스
스트라드비젼-악세라, 자율주행 혁신 가속 위한 전략적 협력 체결 글로벌오토뉴스
중국 자율주행 스타트업 모멘타, 상하이 모터쇼서 글로벌 자동차 브랜드와 대규모 협력 계약 글로벌오토뉴스
일렉트로비트-메톡, 소프트웨어 기반 차량 혁신 위해 전략적 파트너십 체결 글로벌오토뉴스
비스테온-볼케이노 엔진, AI 기반 스마트 콕핏 솔루션 공개…차량 내 경험 혁신 예고 글로벌오토뉴스
중국 세레스, 상하이 모터쇼서 지능형 안전 생태계 공개…미래 자동차 안전 표준 제시 글로벌오토뉴스
현대차, 'ACT 엑스포 2025'서 북미 수소 물류시장 본격 공략 글로벌오토뉴스
테슬라, 모델 3 롱레인지 무보증금 리스 출시 글로벌오토뉴스
알핀 A390, 브랜드 첫 전기 스포츠 패스트백 5월 27일 공개 글로벌오토뉴스
지커, 첫 PHEV 플래그십 SUV '9X' 공개…BMW X7·GLS 겨냥 글로벌오토뉴스
뉴욕주, 다시 테슬라와 충돌…직접판매 제한 논쟁 재점화 글로벌오토뉴스
폭스콘, 미국 EV 시장 진출 본격화…‘모델 C’ 제3 브랜드 통해 출시 글로벌오토뉴스
볼보 EX30, 미국 관세 여파로 생산지 전환 글로벌오토뉴스
메르세데스-AMG, 포르쉐 타이칸 겨냥한 전용 전기 패스트백 6월 공개 예정 글로벌오토뉴스
LG전자, 전기차 충전기 사업 철수 발표 글로벌오토뉴스
삼성SDI, '미국 관세로 EV 배터리 생산비용 상승 불가피' 글로벌오토뉴스
한국타이어, WRC 4라운드 ‘이슬라스 카나리아스 랠리’서 기술력 입증 글로벌오토뉴스
혼다코리아, 모터스포츠 문화 확산 위한 2025 ‘혼다 원 메이커 레이스’ 1라운드 실시 글로벌오토뉴스
이 시간 HOT 댓글!
1/4