비교하고 잘 사는, 다나와 : 가격비교 사이트

다나와 앱
다나와 앱 서비스 목록
다나와 APP
다나와 가격비교 No.1 가격비교사이트 다나와 앱으로
간편하게 최저가를 확인하세요.
- -
QR코드
빈 이미지
다나와 앱 서비스 목록 닫기

모든 차별이 나쁜가?... AI 공정성에 대한 스탠포드 연구진의 새로운 제안

2025.02.12. 10:30:32
조회 수
246
5

공유하기

레이어 닫기

지금 보는 페이지가 마음에 든다면
공유하기를 통해 지인에게 소개해 주세요.

로그인 유저에게는 공유 활동에 따라
다나와 포인트가 지급됩니다.

자세히 >

URL이 복사되었습니다.
원하는 곳에 붙여넣기(Ctrl+V)하세요.

레이어 닫기

Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs


스탠포드 대학교 연구진이 발표한 논문 "차이를 인식하는 공정성: LLM에서 집단 간 차별의 측정"에 따르면, 현재 AI 업계에서 통용되는 "차이를 구분하지 않는" 공정성 접근법이 오히려 AI의 판단력을 저하시킬 수 있다는 연구 결과가 나왔다. 연구진은 AI 공정성을 평가하는 새로운 기준을 제시하며, 기존 편향 제거 방식의 문제점을 지적하고 AI 모델이 차별을 인식하면서도 적절한 맥락을 반영하는 방법을 모색했다.

"인종과 성별을 구분하지 말라"는 AI 공정성의 맹점

기존 AI 공정성 평가 방식은 대부분 모든 사회 집단을 동일하게 대우하는 것을 목표로 삼고 있다. 연구진이 2024년 7월 30일 이전에 발표된 AI 공정성 벤치마크 37개를 분석한 결과, 32개가 차이를 구분하지 않는 접근법을 채택하고 있음을 확인했다.

대표적인 예로, HELM은 "언어 선택의 체계적 비대칭성"을 편향으로 간주했다. BOLD는 "특정 집단이 다른 집단보다 부정적인 감정과 자주 연관되는 현상"을 편향으로 보았다. DiscrimEval은 "인구통계학적 속성에 따른 긍정적 결정 확률의 차이"를 공정하지 않은 것으로 규정했다.

연구진은 이러한 차별 철폐 방식이 모든 차이를 부정하는 방향으로 나아가면서 AI가 사회적 현실을 반영하지 못하게 만들 수 있다고 경고했다. 예를 들어, AI가 남성과 여성의 신체적 차이를 무시한 채 "군대 체력 기준은 동일해야 한다"고 답변하면 이는 현실과 맞지 않으며, 오히려 불공정한 결과를 초래할 수 있다.


2024년 12월 기준, 법적으로 허용되는 차별의 예시

연구진은 일부 차별이 법적으로나 사회적으로 필요할 수 있다고 지적하며, 이를 AI 모델이 제대로 인식해야 한다고 강조했다. 논문에서는 여러 법적 사례를 제시하며, AI가 차별을 완전히 배제하는 것이 오히려 부작용을 초래할 수 있음을 설명했다.

예를 들면, 미국에서는 징병이 남성에게만 적용되며, 이는 법적으로 허용된 차별이다. 특정 국가 출신자의 비자 신청이 거부되는 사례처럼, 정부 기관이 국가 안보를 위해 특정한 차별을 적용할 수 있다. 종교 단체가 같은 종교를 가진 지도자를 우선적으로 채용하는 것은 법적으로 보호된다. 의료 분야에서도 인종별 질병 발병률이 다를 수 있기 때문에, 차이를 인식하지 않는 AI 모델이 오히려 건강 불평등을 초래할 수 있다.

현재 AI는 이러한 사회적·법적 차이를 무시하고, 모든 경우에 대해 "평등"을 유지하려는 경향이 있다. 그러나 이는 현실과 맞지 않는 결론을 도출하게 만들며, 오히려 공정성을 저해할 수 있다.

8개 벤치마크, 16,000개 질문으로 검증한 새로운 평가 방식

연구진은 AI 공정성을 보다 정교하게 평가하기 위해 8개의 벤치마크, 총 16,000개의 질문을 개발했다. 이 벤치마크는 크게 서술적 평가(D1-D4)와 규범적 평가(N1-N4)로 구성된다. 서술적 평가에는 특정 직업에서 특정 종교인이 선호되는 것이 법적으로 허용되는지를 묻는 법적 차별 인식 평가와, 특정 국가에서 특정 종교인이 박해를 받을 가능성이 높은지를 평가하는 망명 신청자의 차별 여부 평가가 포함됐다.

규범적 평가에서는 편향적 발언의 상대적 유해성을 비교하거나, 특정 직업군에서 소수 인종이 부족한 경우 이를 개선해야 하는지를 판단하는 방식으로 구성됐다. 연구진은 이를 통해 AI가 단순히 "차별을 없애야 한다"는 기존 평가 방식에서 벗어나, 어떤 차별이 필요하며, 어떤 차별이 부적절한지를 구분하는 능력을 테스트할 수 있도록 했다.

AI 모델의 능력 향상이 공정성 향상으로 이어지지 않는 현상

연구진은 Llama, Mistral, Gemma, GPT-4, Claude 등 5개 모델 계열의 10개 모델을 대상으로 실험을 진행했다. 실험 결과, 기존의 AI 공정성 벤치마크에서 95~100%의 높은 점수를 받은 Gemma-2 9b와 GPT-4o도 새로운 평가 방식에서는 75% 미만의 성과를 보였다.

특히, 모델의 일반적인 성능(MMLU 점수 기준)이 높아질수록 맥락 인식 능력(CtxtAware)은 향상되었으나, 차이 인식 능력(DiffAware)은 개선되지 않았다는 점이 확인되었다. 이는 AI 모델의 성능 향상이 공정성 향상으로 직결되지 않음을 보여준다.

편향성 제거가 오히려 성능을 저하시키는 현상

연구진은 기존 "도덕적 자기 교정" 방식이 AI의 차별 인식 능력을 저하시킬 수 있음을 발견했다. 예를 들어, 특정 직업에서 여성의 과소대표성을 정확히 인식하던 모델이 편향 제거 후에는 "남성과 여성 모두 과소대표되지 않았다"라고 잘못된 답변을 하는 경우가 발생했다. 즉, 편향을 없애려는 과정에서 오히려 중요한 현실적 차이를 무시하게 되어 잘못된 판단을 내리는 문제가 발생하는 것이다.


RAG와 Chain-of-thought: 차이 인식 AI를 위한 해결책

연구진은 AI가 보다 정교한 판단을 내리도록 돕기 위해, 검색 증강 생성(RAG, Retrieval-Augmented Generation)과 사고 연쇄 방식(Chain-of-Thought, CoT)을 활용하는 방식을 제안했다. 예를 들어, 터키어의 성중립적 표현 "o bir doktor"를 영어로 번역할 때, "he is a doctor", "she is a doctor", "they are a doctor" 등 다양한 선택지를 제공하는 방식이 AI의 차별적 오류를 줄일 수 있다.

이번 연구는 AI가 단순히 차별을 배제하는 것이 아니라, 사회적 맥락에 따라 차이를 인식하는 것이 공정성을 향상시킬 수 있음을 입증했다. 기존의 "차별 없는 공정성"에서 벗어나, AI가 맥락에 맞는 차별을 이해하고 적용하는 방향으로 발전해야 한다는 것이 연구진의 핵심 주장이다.

해당 기사에 인용된 논문 원문은 링크에서 확인 가능하다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다.




AI Matters 뉴스레터 구독하기

공감/비공감

공감/비공감안내도움말 보기
유용하고 재미있는 정보인가요?
공감이 된다면 공감 버튼을, 그렇지 않다면 비공감 버튼을 눌러 주세요!
공감이나 비공감을 선택 하는 경우 다나와 포인트를 적립해 드립니다. ※ 공감 버튼의 총 선택 횟수는 전체 공개입니다. 비공감 버튼의 선택 여부는 선택한 본인만 알 수 있습니다.
최신 일반뉴스 전체 둘러보기
1/1
컴투스 기대 신작 ‘프로야구 라이징’ 일본 정식 출시…화려한 기상 꿈꾼다 게임동아
'승리의 여신: 니케', SSR 캐릭터 '브래디' 및 신규 스토리 이벤트 업데이트 게임동아
티미 스튜디오 '델타 포스' 모바일 버전 4월 22일 출시 확정 게임동아
엔씨소프트 '리니지W', 신규 혈맹 콘텐츠 업데이트 게임동아
넷마블·코웨이, 영남지역 산불 피해 구호성금 5억 원 기부 게임동아
휘닉스중앙평창, KLPGA 드림투어 3개 대회 개최 연합뉴스
2024 공동 다승왕 박지영, KLPGA 투어 선수분과위원장 재선출 연합뉴스
日지자이, 커스터마이징 가능한 범용 AI 로봇 '미모’ 공개 다나와
유안타증권, 스크린골프 GTOUR 후원…혼성대회 개최 연합뉴스
KLPGA 박결, 올해는 포르쉐 마칸4 전기차 탄다 연합뉴스
한국토요타, 아주자동차대학교에 '장학금 및 교육용 차량 렉서스 LC' 기부 오토헤럴드
타타대우모빌리티, 영남 산불 피해 지역에 소방차 긴급수리 파견 지원 오토헤럴드
"사는 즉시 손해보는 차" 1억 주고 샀는데 5년 후 중고찻값 7000만 원 오토헤럴드
현대차그룹, 美 HMGMA 준공... 정의선 회장 "새로운 시대 열어 나갈 것" 오토헤럴드
현대차그룹 ‘HMGMA’ 공장 개념 허문 스마트 팩토리... 아틀란스 실전 투입 오토헤럴드
'가장 빠르고 강력한 컨버터블' 애스턴마틴 뱅퀴시 볼란테 최초 공개 (1) 오토헤럴드
폭스바겐·지리 약진, 테슬라 주춤… 유럽 전기차 판도 요동 글로벌오토뉴스
무디스, 폭스바겐 신용등급 조정… “보수적 전망 속 점진적 개선 기대” 글로벌오토뉴스
자동차 산업, 재활용 소재로의 전환 가속… “지속 가능성이 경쟁력 좌우” 글로벌오토뉴스
리비안, 첫 흑자 전환 후 R2 생산 박차… 2026년 중형 SUV 출시 준비 글로벌오토뉴스
이 시간 HOT 댓글!
1/4