Requirements for trustworthy AI-enabled automated decision-making in the public sector
: A systematic review

유럽 30개국 686개 사례로 본 공공 부문 AI 활용의 현주소와 도전과제

인공지능(AI)은 인간 지능과 연관된 인지 활동을 시뮬레이션하는 변혁적 기술로서 우리의 일상생활과 사회 전반에 영향을 미치고 있다. 특히 공공 부문에서 AI는 교육, 의료, 사회 서비스, 정책 결정 등 다양한 영역에서 공공 서비스 접근성 향상, 서비스 품질 및 효율성 개선, 정부에 대한 국민 신뢰 증진을 위해 점차 활용되고 있다. 유럽에서만 30개국 686개 공공 부문 AI 활용 사례가 보고되었으며, 미국에서는 연방 기관의 45% 이상에서 AI가 사용되고 있다.

그러나 자동화된 의사결정(ADM)에 AI를 활용하는 과정에서 프라이버시 침해, 경제적 불평등, 권력 불균형, 편향성, 인종 차별 등 취약계층에 대한 우려가 제기되고 있다. 또한 AI 의사결정 과정과 그 배경 논리에 대한 투명성과 이해 부족은 특히 중요한 영향을 미치는 응용 맥락에서 인간 중심 AI 시스템 설계의 필요성을 강조한다.

이러한 우려는 산업계, 정부, 학계에서 신뢰할 수 있는 AI에 대한 문서들을 발표하게 했으며, 대표적으로 유럽 위원회 윤리 가이드라인은 신뢰할 수 있는 AI가 합법적이고, 윤리적이며, 강건해야 한다고 권고하고 있다. 이에 아일랜드 메이누스 대학교와 캐나다 칼튼 대학교 연구팀은 공공 부문 AI 기반 자동화된 의사결정 시스템의 신뢰성 요구사항을 체계적으로 분석하고 확립했다.

신뢰할 수 있는 AI 자동화 의사결정 시스템의 18가지 요구사항

본 연구는 61개의 연구 논문을 분석하여 공공 부문 AI 기반 자동화된 의사결정 시스템의 신뢰성을 위한 18가지 핵심 요구사항을 도출했다. 이 요구사항들은 자동화 신뢰의 기반과 제도 기반 신뢰의 차원에 연결되어 이론 중심 연구 프레임워크를 형성하며, OECD AI 시스템 수명주기에 매핑되어 실무 중심 프레임워크를 제공한다.

1. 문제와 목표 명확성: AI 프로젝트의 시작점으로, 해결할 문제를 명확히 정의하고 AI 시스템이 달성하고자 하는 목표나 목적을 명확히 설정해야 한다. 호주의 "Robodebt" 프로그램 실패 사례에서 볼 수 있듯이, 제한된 목표/비전과 불분명한 목적은 실패의 주요 요인이 된다.
   
2. 가치 트레이드오프와 정렬: 알고리즘 채택과 구현 과정에서 다양한 가치 간의 적절한 균형을 유지하고, 설계 단계부터 알고리즘에 가치를 내장하는 가치 민감적 설계 접근법이 중요하다. 특히 공공 부문에서는 효율적인 서비스 제공과 공공 신뢰 유지 사이의 균형이 중요하다.
   
3. 다양성, 참여 및 포용성: 참여적 설계와 다양성 및 포용성으로 구분되며, 공공 부문과 같이 논쟁의 여지가 있는 맥락에서 이해관계자들의 적극적인 참여와 포용적인 설계가 중요하다. 이는 알고리즘 편향을 줄이고 시스템의 정당성을 향상시킬 수 있다.
   
4. 데이터 관리: 데이터 품질과 맥락, 데이터 감사, 데이터 수집 과정 등에 초점을 맞추며, 신뢰할 수 있는 AI는 적절하고 효율적인 데이터 관리에 달려 있다. 특히 훈련 데이터의 품질은 AI 시스템의 부정적 결과를 완화하는 데 중요하다.
   
5. AI 문해력, 교육 및 인식 구축: 공공 부문 직원들의 AI 문해력과 시민들의 AI 문해력으로 구분되며, AI를 개발하고 사용하는 공공 부문 직원들의 역량과 기술 구축이 중요하다. 또한 디지털 격차를 해소하고 알고리즘을 이해하고 공공 AI에 이의를 제기하는 데 필요한 기술과 지식을 시민들에게 제공하는 것이 중요하다.
   
6. 설명 가능성: 설명 가능한 결정, 설명 가능한 과정, 이해관계자 기반 설명으로 구분되며, AI에 대한 설명보다 AI가 지원하는 결정을 설명하는 데 중점을 두어야 한다. 호주에서 자동 부채 회수를 위해 배포된 ADM 시스템의 실패 지점 중 하나는 부채 계산의 기초와 부채 회수 과정 자체를 제대로 설명할 수 없었다는 점이다.
   
7. 데이터 개인정보 보호, 보호 및 보안: 개인 데이터 보호와 데이터의 윤리적이고 책임 있는 사용을 포함하며, 특히 AI가 개인 정보를 악용할 수 있는 심각한 위험이 있어 중요하다. 기술적 접근법과 효과적인 규제를 통해 개인정보를 강화할 수 있다.
   
8. 기술적 견고성: 사용자 친화성, 시스템 정확성 및 견고성, 모델 성능, 앙상블 학습 등의 기능을 포함한다. 특히 고위험 맥락에서 부정확한 예측이나 권장 사항은 심각한 결과를 초래할 수 있으므로 시스템의 효과성, 신뢰성, 정확성이 중요하다.
   
9. 공정성 및 비차별: 인간 존엄성을 보존하고 균일한 법률, 규칙, 규정 및 공정한 절차에 기반한 AI 의사결정이 중요하다. 특히 공공 부문에서는 인종, 성별, 연령 또는 사회적 지위에 관계없이 모든 시민에게 동등한 대우를 보장해야 한다.
   
10. 맥락 민감성: AI의 맥락 의존적 특성은 특히 공공 부문에서 가장 간과된 요소 중 하나로, 알고리즘이 구현되는 더 넓은 사회기술적 맥락 내에서 이해되고 틀지어져야 한다. 또한 개별 사례의 구체적 상황을 고려해야 한다.
    
11. 투명성: 과정 투명성, 알고리즘/모델 투명성, 이해관계자 기반 투명성, 접근성, 공개 공개로 구분된다. 특히 네덜란드에서 복지 사기 탐지를 위해 배포된 SyRI 시스템은 알고리즘의 투명성 부족으로 인해 법원에 의해 금지되었다.
    
12. 책임성: 공공 책임성, 책임 정의 및 할당, 다중 포럼 책임성, 헌법적 책임성으로 구분된다. 공공 부문 ADM의 신뢰성을 위한 가장 중요한 조건 중 하나로, AI 알고리즘과 공무원을 정기적인 조사와 질문에 노출시키는 것이 중요하다.
    
13. 윤리, 평가 및 지속적 개선: 윤리적 고려사항, 위험 및 영향 평가, 감사, 모니터링 및 지속적인 품질 개선을 포함한다. AI를 지속적인 윤리적 자체 평가에 노출시키고, 다양한 이해관계자로 구성된 윤리 거버넌스 구조 수립이 중요하다.
    
14. 인간 주체성 및 감독: 인간 주체성, 인간 재량권, 개입 및 판단, 인간 통제 및 감독으로 구분된다. 특히 공공 부문에서 AI 기반 의사결정의 책임있는 구현을 위해 인간의 자율성과 기계의 추정된 우월성에 의해 인간이 가려지지 않도록 보장하는 것이 중요하다.
    
15. 정치적 정당성 및 민주주의: 정치적 및 민주적 정당성, 기본권 보호, 제도적 신뢰/조직 평판으로 구분된다. 알고리즘에 의한 정부는 정치적 정당성을 약화시키고 민주적 가치에 위협이 될 수 있어, AI 설계와 사용이 이러한 원칙을 준수해야 한다.
    
16. 논쟁 가능성 및 구제: 고위험 맥락에서 AI 의사결정의 활용이 증가함에 따라 영향을 받는 사람들을 위한 중요한 안전장치로서, 시민들에게 AI에 이의를 제기하고 부정적 AI 결과에 대한 해결책을 구할 수 있는 수단을 제공해야 한다.
    
17. 피드백 및 정책 학습: 시민 피드백은 신뢰할 수 있는 시스템 개발과 AI 서비스 품질 향상을 촉진하는 데 중요하다. 정부가 실패와 부정적 결과로부터 배울 때 AI 정책과 프로그램이 개선될 수 있다.
    
18. 선택 및 자율성: 특히 공공 서비스에서 사용되는 AI와 관련하여 정부-시민 권력 불균형을 악화시키는 것으로 보이는 옵트인 또는 옵트아웃 기능을 제공하는 것이 중요하다. 데이터 사용 방법, 사용자, 용도 등에 대한 선택권을 제공해야 한다.
    
    

자동화 신뢰와 제도 기반 신뢰를 통합한 이중 프레임워크

본 연구는 위 18가지 요구사항을 두 가지 프레임워크로 구성했다. 첫째로, 이론 중심 연구 프레임워크는 자동화 신뢰의 기반(목적, 과정, 성능)과 제도 기반 신뢰(구조적 보증, 상황적 정상성, 촉진 조건)의 여섯 가지 신뢰 차원에 18가지 요구사항을 매핑했다. 이는 공공 부문 AI 기반 ADM에 대한 신뢰 연구를 위한 견고한 기반을 제공한다.

둘째로, 실무 중심 프레임워크는 18가지 요구사항을 OECD AI 시스템 수명주기의 네 단계(설계·데이터·모델링, 검증·유효성 검사, 배포, 운영·모니터링)에 매핑했다. 이를 통해 공공 부문 조직들이 AI 시스템 수명주기 전반에 걸쳐 신뢰성을 향상시키기 위한 실행 가능한 로드맵을 제공한다.

연구 결과의 함의 - 이론부터 실무까지 공공 AI 생태계 구축 방향

본 연구는 이론적, 실무적, 정책적으로 중요한 함의를 가진다. 이론적 측면에서는 기술적 신뢰 이론을 확장하고, 신뢰할 수 있는 AI 문헌에 기여하며, 책임성과 투명성과 같은 잘 알려진 요구사항과 맥락 민감성, 피드백 및 정책 학습과 같은 새로운 요구사항을 밝혀냈다. 실무적 측면에서는 공공 관리자와 개발자에게 AI 수명주기를 따라 ADM 거버넌스 관행을 개선하기 위한 로드맵을 제공하고, 핵심 AI 행위자에 의해 평가되고 해결될 수 있는 구체적인 요구사항을 제시한다.

정책적 측면에서는 정책 입안자들에게 현재 AI 정책의 격차를 평가할 수 있는 기반을 제공하고, AI 정책 개발 및 AI 의사결정의 사회적·윤리적 영향 관리에 중요한 지침을 제공한다. 향후 연구는 이러한 프레임워크의 실증적 검증과 다양한 공공 부문 맥락에서의 적용, 그리고 개별 요구사항들 간의 관계 평가에 초점을 맞출 필요가 있다.

FAQ

Q: AI 기반 자동화된 의사결정 시스템이 공공 부문에서 필요한 이유는 무엇인가요?

A: AI 기반 자동화된 의사결정 시스템은 공공 서비스의 효율성을 향상시키고, 서비스 품질을 개선하며, 정부에 대한 신뢰를 구축하는 데 도움을 줄 수 있습니다. 특히 교육, 의료, 사회 서비스, 정책 결정 등 다양한 영역에서 서비스 접근성을 향상시키고 더 공정한 서비스를 제공할 수 있는 잠재력이 있습니다.

Q: 공공 부문에서 AI 자동화 의사결정 시스템이 가져오는 주요 우려 사항은 무엇인가요?

A: 주요 우려 사항으로는 프라이버시 침해, 경제적 불평등 심화, an 권력 불균형, 알고리즘 편향성, 인종 차별 등이 있습니다. 특히 이미 취약한 계층에 대한 부정적 영향이 큰 우려 대상이며, AI 의사결정 과정과 논리에 대한 투명성 부족도 중요한 문제입니다.

Q: 공공 부문에서 신뢰할 수 있는 AI 시스템을 구축하기 위해 가장 중요한 요소는 무엇인가요?

A: 여러 요소가 중요하지만, 특히 투명성, 인간 주체성 및 감독, 윤리적 고려사항, 데이터 관리, 다양성과 포용성이 AI 시스템 수명주기 전반에 걸쳐 중요합니다. 이는 ADM이 인간의 상당한 수준의 감독, 투명한 관행(예: AI 사용 공개), 품질 보증 측정(예: 알고리즘 검토 및 감사), 데이터 품질 보장, 참여와 포용성 장려(예: 적극적인 이해관계자 참여)를 필요로 함을 의미합니다.

해당 기사에서 인용한 논문 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.