ARTIFICIAL INTELLIGENCE MODEL RISK MANAGEMENT

챗GPT 출시 이후 금융권 AI 도입 가속화...자금세탁방지·사기탐지 등 도입 활발

싱가포르 통화청(MAS)이 지난해 12월 발표한 'AI 모델 리스크 관리' 정보문서에 따르면, 금융권에서 AI, 특히 생성형 AI에 대한 관심이 빠르게 증가하고 있다. 그러나 이는 챗GPT 출시 이후 AI 도입이 급격히 증가했다기보다는, 기존 금융권의 AI 활용이 지속적으로 확대되는 과정에서 생성형 AI의 역할이 주목받고 있는 것으로 해석해야 한다.

금융기관들은 이미 자금세탁방지(AML), 사기 탐지, 금융시장 이상징후 탐지 등 다양한 분야에서 AI를 활용해왔다. 특히 XGBoost, LightGBM, CatBoost와 같은 의사결정트리 기반 머신러닝 모델이 데이터의 특성 중요도를 명확히 분석할 수 있어 설명 가능성이 요구되는 금융권에서 선호되고 있다. 이러한 모델들은 대출 조기상환율 예측, 고객 선호도 분석, ATM 현금 인출 수요 예측 등에도 폭넓게 활용되고 있다.

MAS는 이번 보고서에서 AI의 리스크 관리 강화를 위해 금융기관들이 보다 체계적인 AI 거버넌스를 구축해야 한다고 강조했다. 이에 따라 각 은행들은 데이터·리스크 관리, 법무·컴플라이언스, IT, 내부 감사 등 여러 부서가 협력하는 크로스펑셔널 AI 감독 포럼을 운영하고 있으며, AI 센터 오브 엑셀런스(Center of Excellence)를 설립해 혁신과 리스크 관리를 병행하는 추세다.

생성형 AI 도입 초기단계... 업무 보조 역할 중심

MAS 보고서에 따르면 현재 금융권에서 생성형 AI의 도입은 초기 단계로, 주로 업무 생산성 향상과 내부 운영 효율화를 위한 보조 도구로 활용되고 있다. 금융기관들은 생성형 AI를 리스크 분석, 투자 리포트 작성, 고객 상호작용 요약, 마케팅 콘텐츠 생성, 코딩 작업 지원 등의 용도로 제한적으로 도입하고 있다.

금융기관들은 생성형 AI를 직접적인 고객 서비스에 적용하는 데 신중한 태도를 보이고 있다. 이는 생성형 AI가 환각 현상을 일으킬 가능성이 있어 금융상품 추천 및 투자 분석과 같은 중요한 결정에 사용하기 어렵기 때문이다. 또한 규제 준수 문제도 존재한다. 생성형 AI가 잘못된 데이터를 바탕으로 금융 상품을 추천하거나 사기 탐지를 수행할 경우 법적 문제로 이어질 가능성이 있다. 이와 함께 AI 모델의 설명 가능성이 낮아 규제 기관과 고객의 신뢰를 얻기 어렵다는 점도 주요한 이유로 지목된다.

현재 금융기관들은 생성형 AI를 직접적인 고객 서비스보다 코파일럿 형태로 활용하고 있다. 예를 들어, 내부 직원들이 코드 작성 시 AI가 도움을 주거나, 내부 문서를 정리하고 요약하는 데 사용된다. 이를 통해 업무의 생산성을 높이는 보조 도구로 AI를 도입하는 추세다.

AI 모델 리스크 평가 3대 기준 도입...영향도·복잡성·의존도 기반 관리

MAS는 금융기관들이 AI 리스크를 체계적으로 평가하기 위해 세 가지 주요 기준을 고려해야 한다고 제시했다.

첫 번째 기준은 은행 및 이해관계자(고객, 규제기관 등)에 미치는 영향을 평가하는 것이다.

두 번째는 AI 모델이나 시스템이 얼마나 복잡한지를 분석해 모델의 해석 가능성과 위험성을 판단하는 것이다.

세 번째는 AI에 대한 의존도가 얼마나 높은지를 평가하고, 중요 업무에서 AI 모델이 잘못된 결정을 내렸을 경우 대응할 수 있는 체계를 마련해야 한다는 점이다.

MAS는 이 세 가지 기준을 기반으로 금융기관이 AI 리스크를 차등적으로 관리해야 한다고 강조했다. 예를 들어, 대출 승인 결정에 사용되는 AI처럼 고위험 모델의 경우 독립적인 검증 및 지속적인 모니터링이 필수적이지만, 내부 문서 요약 AI처럼 저위험 모델은 동료 검토로도 충분할 수 있다.

생성형 AI 특화 리스크 관리 조치 강화

MAS는 금융권에서 생성형 AI를 안전하게 활용하기 위해 기존 AI 리스크 관리 체계를 보완하는 추가적인 통제 장치가 필요하다고 강조했다. 금융기관들은 생성형 AI가 금융 데이터에 부적절한 정보를 입력하지 않도록 사전에 차단하고, AI가 생성한 결과물이 유해하거나 오류를 포함하는 경우 필터링하는 장치를 마련하고 있다.

또한 고객 정보가 AI 모델 학습에 포함되지 않도록 차단하고, 데이터 유출 방지 도구를 활용하여 기밀성을 유지하고 있다. 외부 API 기반 AI 모델보다 자체 서버 또는 전용 클라우드 환경에서 운영하는 방식도 활용되며 보안이 한층 강화되고 있다.

특히 MAS는 생성형 AI가 금융권에서 활용될 경우 입력 데이터 및 출력 데이터의 검토 과정에서 사람이 반드시 개입하는 '휴먼 인 더 루프' 접근 방식이 필수적이라고 강조했다.

제3자 AI 활용을 위한 종합적 관리체계 구축

MAS는 금융기관들이 외부 AI 서비스를 활용할 경우 제3자 모델의 리스크를 철저히 점검해야 한다고 경고했다. 이에 따라 금융기관들은 AI 모델이 은행의 특정 데이터 환경에서 제대로 작동하는지 검증하고, 금융 데이터에서 발생할 수 있는 편향성을 점검하는 보완적 테스트를 실시하고 있다.

또한 AI 서비스 제공업체와 계약을 체결할 때 성능 보장, 데이터 보호 조항, AI 모델 변경 시 사전 통보 의무 등의 조건을 포함해 법적 계약을 강화하고 있다. 외부 AI 서비스가 중단될 경우를 대비해 대체 솔루션을 마련하고, 중요한 금융 업무에 대한 백업 시스템을 확보하는 등 비상 계획도 수립하고 있다.

이와 함께 MAS는 AI 모델이 학습한 데이터의 편향성을 점검하는 것이 중요하다고 강조했다. 금융권에서 AI 모델이 편향된 데이터를 학습하면 특정 고객층에게 불리한 금융상품을 추천하는 등의 문제가 발생할 수 있기 때문이다.

AI 활용은 확대, 그러나 리스크 관리가 핵심

금융권에서 AI, 특히 생성형 AI의 활용이 빠르게 증가하고 있지만 MAS는 이에 따른 리스크 관리 체계 구축이 필수적이라고 강조했다. MAS의 AI 리스크 관리 가이드라인은 금융기관들이 AI의 영향도, 복잡성, 의존도를 기준으로 차별화된 리스크 관리 체계를 적용하도록 요구하며, 생성형 AI 도입 시 보안 및 규제 준수를 강화하도록 규정하고 있다.

향후 금융권 AI 도입이 본격화됨에 따라 신뢰성과 안전성을 확보하는 리스크 관리 체계가 AI 도입의 핵심 경쟁력이 될 전망이다.

해당 기사에 인용된 리포트 원문은 링크에서 확인 가능하다.

기사는 클로드 3.5 Sonnet과 챗GPT를 활용해 작성되었습니다.