AI가 금융사고를 막아줄 것이라는 기대와 달리, AI 자체가 새로운 금융 리스크의 진원지가 될 수 있다. 한국 딜로이트 그룹(Deloitte)이 2026년 7월 발표한 ‘AI 도입에 따른 금융권 내부통제의 재설계’ 리포트는 금융권 AI 내부통제의 핵심 질문이 “AI를 도입할 것인가”에서 “AI를 어떻게 통제할 것인가”로 바뀌었다고 진단한다. 내 대출 심사, 내 보험 가입, 내 카드 이상거래 탐지까지 AI의 손길이 빠르게 뻗어오고 있는 만큼, 이 질문은 금융회사만의 문제가 아니라 금융 서비스를 이용하는 모든 사람의 문제다.

“AI를 써도 되는가”에서 “AI를 어떻게 통제할 것인가”로 옮겨간 금융권의 질문

딜로이트 리포트에 따르면 금융권 AI 활용은 챗봇이나 단순 자동화 수준을 넘어, 사람 대신 판단의 일부를 수행하는 단계로 진입했다. 초기에는 광학문자인식(OCR)이나 로보틱 프로세스 자동화(RPA)처럼 정해진 일을 반복하는 기술이 중심이었다면, 지금은 스스로 계획을 세우고 실행하는 에이전틱 AI(Agentic AI)가 고객 응대, 신용평가, 이상거래 탐지, 민원 분석, 규제 모니터링까지 파고들고 있다. 에이전틱 AI란 사람이 일일이 지시하지 않아도 목표를 받아 스스로 작업을 수행하는 인공지능을 말한다.

이 변화가 중요한 이유는 내부통제의 관리 대상이 달라지기 때문이다. 내부통제란 금융회사가 법을 지키고 사고를 막기 위해 스스로 운영하는 점검·감시 체계를 말한다. 과거에는 사람이 한 업무의 ‘결과’를 사후에 점검하면 됐다. 그러나 AI가 판단에 개입하는 순간, 금융회사는 AI가 어떤 데이터로 학습했는지, 어떤 근거로 판단했는지, 그 결과를 누가 검토하고 승인했는지, 즉 ‘판단 과정’ 전체를 관리해야 한다. 리포트는 규제 환경도 이에 맞춰 AI 기본법, 금융분야 AI 가이드라인, AI 기반 신용평가모형 검증체계 등으로 구체화되고 있다고 짚는다.

전수조사가 가능해진 내부통제, 그러나 블랙박스라는 대가

AI는 내부통제를 획기적으로 강화할 수 있는 도구이기도 하다. 딜로이트 리포트에 따르면 기존 내부통제 점검은 인력과 시간의 한계 때문에 일부만 뽑아서 보는 표본 점검과 사고가 터진 뒤 확인하는 사후 점검에 의존해 왔다. AI를 활용하면 거래 데이터, 업무 로그, 상담 기록, 민원 내용을 사실상 전부 들여다보는 전수 조사 체계로 전환할 수 있다. 예를 들어 상담 녹취 속 불완전판매 가능성이 있는 표현, 특정 민원 유형의 반복 발생, 기존 규칙으로는 설명하기 어려운 거래 패턴을 AI가 먼저 찾아내 검토 우선순위로 올려주는 식이다.

그림1. AI로 인한 내부통제 변화 (출처: 딜로이트 ‘AI 도입에 따른 금융권 내부통제의 재설계’, p.7)

문제는 그 대가다. 리포트는 AI가 가져오는 새로운 리스크를 크게 네 가지로 정리한다. 첫째는 설명가능성 리스크다. AI가 특정 거래를 이상거래로 분류하거나 특정 고객을 고위험군으로 판단했는데 그 근거를 설명하지 못하면, 감독 당국 대응은 물론 고객에게 해명하는 것조차 어려워진다. 둘째는 데이터 편향 리스크다. 학습 데이터에 특정 지역, 연령, 직업에 대한 편향이 섞여 있으면 AI는 그 차별을 그대로 재생산한다. 셋째는 환각과 정보유출 리스크다. AI가 사실이 아닌 내용을 사실처럼 답하거나, 직원이 고객정보와 영업비밀을 외부 AI 서비스에 입력해 유출되는 상황이다. 넷째는 모델 성능 저하 리스크다. 시장 환경과 사기 수법이 변하는데 AI가 이를 따라가지 못하면, 잘못된 경보(오탐)가 쏟아지는 사이 진짜 위험 신호가 묻혀버린다.

여기서 독자 스스로 물어볼 만한 장면이 있다. 만약 은행 AI가 내 대출 신청을 거절했는데 창구 직원도, 본점 담당자도 “AI가 그렇게 판단했다”는 말밖에 못 한다면 나는 그 결정을 받아들일 수 있을까. 딜로이트가 경고하는 것이 바로 이 상황이다.

미국은 소비자보호, EU는 위험등급제, 글로벌 은행들은 이미 실행 중

주요국 감독기관은 접근 방식은 달라도 한 가지 원칙을 공유한다. AI를 썼다는 이유로 금융회사의 책임이 가벼워지지 않는다는 것이다. 미국 소비자금융보호국(CFPB)은 2023년 AI나 복잡한 신용모형을 활용하더라도 소비자에게 대출 거절 같은 불이익 조치의 구체적이고 정확한 사유를 제시해야 한다고 밝혔다. “모델이 복잡해서 설명할 수 없다”는 변명이 통하지 않는다는 뜻이다. 유럽연합(EU)은 인공지능법(AI Act)을 통해 AI를 위험 수준별로 나누고, 신용평가나 보험 위험평가처럼 고객의 금융 접근성에 영향을 미치는 고위험 AI에는 데이터 관리, 기록 보관, 인간 감독 등 엄격한 요건을 부과한다. 영국은 별도의 AI 규제 대신 기존 경영진 책임 제도와 모델 리스크 관리 원칙을 확장하는 방식을, 홍콩은 AI를 인간 판단의 대체가 아닌 보완 도구로 규정하는 접근을 택했다.

글로벌 금융기관들은 이미 자체 통제 장치를 만들어 운영하고 있다. HSBC는 AI를 활용하기 전에 그 목적이 정당한지, 고객과 사회에 어떤 영향을 미치는지부터 검토하는 윤리 원칙을 세웠고, 싱가포르 DBS는 “데이터를 사용할 수 있는가, 사용해야 하는가, 어떻게 사용할 것인가”라는 질문을 바탕으로 데이터 활용을 점검하는 책임 있는 데이터 활용 체계와 PURE 원칙을 운영한다. 골드만삭스(Goldman Sachs)는 회사가 승인한 AI 시스템을 승인된 업무 목적 안에서만 쓰도록 행동규범에 못 박았다. AI 통제를 기술 부서의 일이 아니라 회사 전체의 윤리와 책임 문제로 다루고 있다는 공통점이 보인다.

딜로이트가 제시한 다섯 개의 안전장치와 ‘사람이 마지막에 있어야 한다’는 원칙

딜로이트는 금융회사가 갖춰야 할 AI 내부통제 프레임워크를 다섯 개의 축으로 제시한다. AI 활용의 최종 책임 구조를 정하는 거버넌스, AI 리스크를 기존 내부통제 체계에 연결하는 업무·리스크 연계, 학습 데이터와 모델의 품질을 관리하는 데이터·모델 관리, 도입 이후 성능 저하와 오류에 대응하는 운영·사후관리, 그리고 감독과 감사에 답할 수 있는 설명가능성이다. 특히 거버넌스 축에서는 AI 시스템의 오작동이나 사고 발생 시 책임질 임원을 책무구조도에 명시적으로 지정하라고 주문한다. “사고가 나면 최종 책임은 누구에게 있는가”라는 질문에 이름으로 답할 수 있어야 한다는 것이다.

리포트가 반복해서 강조하는 원칙은 휴먼 인 더 루프(Human in the Loop)다. 휴먼 인 더 루프란 AI가 판단을 보조하더라도 최종 판단과 승인 단계에 사람이 개입하도록 설계하는 방식을 말한다. 담당자는 AI 산출물을 수동적으로 받아들이는 것이 아니라, 그 결과를 업무 판단에 반영한 근거와 책임을 스스로 이해하고 있어야 한다. 또 하나 주목할 지점은 “AI 내부통제는 도입 승인보다 운영 관리에서 실효성이 결정된다”는 진단이다. 모델 정확도, 오류율, 경보 처리 결과, 사용자 개입 빈도를 상시 모니터링하고, 문제가 생기면 재학습, 사용 중단, 수동 절차 전환으로 이어지는 대응이 실제로 작동해야 한다는 것이다. 도입식 테이프를 끊는 순간이 아니라 그 뒤의 매일이 승부처라는 얘기다.

결국 소비자가 던져야 할 질문, “이 결정을 설명해 주세요”

이 리포트는 금융회사를 향해 쓰였지만, 함의는 금융 소비자에게도 닿는다. 앞으로 대출 거절, 보험 인수 거부, 카드 거래 정지 같은 결정 뒤에 AI가 있을 가능성은 점점 커진다. 주요국 규제와 딜로이트의 프레임워크가 공통적으로 요구하는 것은 금융회사가 그 결정의 이유를 추적하고 설명할 수 있어야 한다는 점이다. 뒤집어 말하면, 소비자가 “이 결정의 근거를 설명해 달라”고 요구하는 것 자체가 금융회사의 AI 통제 수준을 시험하는 행위가 된다.

다만 국내 금융회사들이 이런 프레임워크를 얼마나 빠르게, 얼마나 실질적으로 갖출지는 두고 볼 필요가 있다. 원칙과 가이드라인을 문서로 만드는 것과 그것이 현장에서 작동하게 만드는 것은 다른 문제이며, 리포트의 진단대로라면 AI 내부통제의 성패는 결국 운영 단계에서 갈릴 가능성이 크다. 분명한 것은 방향이다. AI 시대 금융의 신뢰는 “우리 은행 AI가 얼마나 똑똑한가”가 아니라 “우리 은행이 AI를 얼마나 책임 있게 다루는가”에서 나온다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 은행 AI가 제 대출을 거절하면 이유를 알 수 있나요?

A. 알 수 있어야 한다는 것이 규제의 방향입니다. 미국 소비자금융보호국(CFPB)은 AI를 활용하더라도 대출 거절 같은 불이익 조치의 구체적 사유를 소비자에게 제시해야 한다고 밝혔고, 딜로이트 리포트도 설명가능성을 금융권 AI 내부통제의 핵심 요건으로 제시합니다.

Q. AI가 사람보다 금융사고를 더 잘 잡아내나요?

A. 점검 범위는 훨씬 넓어집니다. AI는 표본 점검 대신 거래 데이터와 상담 기록을 사실상 전부 분석하는 전수 조사를 가능하게 합니다. 다만 데이터 품질이 낮으면 잘못된 경보가 늘어나 진짜 위험이 묻힐 수 있어, AI 결과는 최종 판단이 아닌 검토 우선순위를 정하는 보조 수단으로 관리되어야 합니다.

Q. 휴먼 인 더 루프(Human in the Loop)란 무엇인가요?

A. AI가 판단을 보조하더라도 최종 승인 단계에 사람이 개입하도록 설계하는 방식입니다. 딜로이트 리포트는 AI 산출물을 그대로 따르지 않고 담당자가 책임의식을 갖고 검토하는 구조를 금융회사 AI 내부통제의 필수 원칙으로 제시합니다.

기사에 인용된 리포트 원문은 한국 딜로이트 그룹에서 확인할 수 있다.
리포트명: AI 도입에 따른 금융권 내부통제의 재설계 (AI 활용 확대에 따른 리스크 관리와 통제체계의 전환)
이미지 출처: AI 생성 콘텐츠
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.