생성형 AI와 머신러닝이 익명·집계 데이터에서도 개인의 건강 상태와 행동 패턴 등 민감한 정보를 유추하면서 개인정보 보호의 중심이 데이터 노출 방지에서 AI 추론 관리로 이동하고 있다.

시장조사기관 가트너(Gartner)는 2029년까지 대부분의 개인정보 침해 사고가 개인식별정보(PII)의 직접적인 유출이 아닌, AI가 개인에 관해 생성한 추론에서 비롯될 것으로 전망했다.

바트 빌렘센(Bart Willemsen) 가트너 수석 애널리스트는 “개인정보 침해 양상이 데이터 유출에서 인사이트 유출로 바뀌고 있다”며 “기업들은 그동안 개인정보 자체를 보호하는 데 주력했지만, AI는 기존 데이터 통제에 구애받지 않고도 개인에 관한 심층적인 인사이트를 재현할 수 있다”고 말했다.

이어 “개인정보 보호 위험은 데이터 노출보다 AI 알고리즘이 개인에 관해 무엇을 추론하는지에 따라 더 많이 발생하고 있다”고 덧붙였다.

익명 데이터에서도 건강 상태·행동 패턴 유추

기업들이 규제 대응과 비용 절감을 위해 보유하는 개인 데이터의 양을 줄이는 가운데, 위협 행위자들은 AI를 활용한 추론 기반 공격에 나설 수 있게 됐다. 생성형 AI와 머신러닝 기술이 발전하면서 익명화되거나 집계된 데이터만으로도 특정 개인의 건강 상태, 성향, 행동 패턴과 같은 민감한 정보를 유추할 가능성이 커졌기 때문이다.

추론 공격은 실제 개인정보 기록을 탈취하지 않고도 개인의 민감한 특성을 도출할 수 있다는 점에서 기존 데이터 유출과 차이가 있다. 기업의 전통적인 보안 체계가 데이터 접근이나 외부 반출을 감시하는 데 집중돼 있다면, AI가 여러 정보를 조합해 새롭게 만들어낸 결론은 탐지 대상에서 벗어날 수 있다.

빌렘센 애널리스트는 “추론 공격은 기존 탐지 체계에 포착되지 않는 경우가 많아 더욱 위험하다”며 “실제 기록이 유출되지 않더라도 AI가 도출한 결론을 통해 개인의 민감한 정보가 드러날 수 있다”고 설명했다.

그는 이러한 추론이 데이터 무결성을 훼손하고, 탐지와 설명은 물론 사후 완화까지 어려운 개인정보 침해 위험을 일으킬 수 있다고 지적했다.

개인 데이터 넘어 AI의 해석·행동까지 관리해야

가트너는 기업이 개인 데이터를 보호하는 기존 방식만으로는 추론 기반 위협에 충분히 대응하기 어렵다고 진단했다. 보안 리더는 AI 시스템이 개인에 관한 인사이트를 생성하고 활용하는 과정은 물론, 이를 바탕으로 어떤 판단과 행동을 수행하는지까지 관리해야 한다.

AI가 생성한 프로필에는 오류나 편향이 포함될 수 있으며, 개인의 동의 없이 새로운 특성이 만들어질 가능성도 있다. 잘못된 추론이 채용이나 보험, 금융, 의료 등 개인에게 영향을 미치는 의사결정에 활용될 경우 데이터가 직접 유출되지 않았더라도 심각한 피해로 이어질 수 있다.

이에 따라 가트너는 기업들이 AI 프로필의 오류와 편향, 무단 생성에 대응하기 위한 투자를 확대하면서 2028년까지 데이터 무결성 보호 지출이 기밀성 보호 투자와 같은 수준에 이를 것으로 내다봤다.

빌렘센 애널리스트는 “개인정보를 데이터 보호의 문제로만 인식하는 기업은 AI 생성 추론으로 인한 개인정보 침해 사고에 갈수록 취약해질 것”이라며 “앞으로 개인정보 보호 위험은 기업이 데이터를 어떻게 저장하는지보다 AI가 데이터를 어떻게 해석하는지에 더 크게 좌우될 것”이라고 강조했다.

AI 거버넌스와 인간의 검증 체계 마련 필요

가트너는 추론 기반 개인정보 보호 위험에 대비하려면 개인정보 보호 프로그램 안에 AI 거버넌스를 내재화해야 한다고 권고했다. AI의 개발과 배포 전 과정에 프라이버시 중심 설계 원칙을 적용하고, 알고리즘의 편향성과 과적합, 의도하지 않은 추론 가능성을 정기적으로 점검해야 한다는 것이다.

차등 프라이버시와 합성 데이터, 개인정보 보호형 머신러닝 등 개인정보 보호 강화 기술(PET) 도입도 주요 대응 방안으로 꼽았다. 데이터를 보호된 상태로 처리해 개인을 다시 식별할 수 있는 위험을 낮추는 방식이다.

데이터 수집 범위를 업무 수행에 반드시 필요한 수준으로 제한하는 데이터 최소화 원칙도 강화해야 한다. 엄격한 접근 통제와 적시 삭제를 적용해 추론 공격에 악용될 수 있는 정보 자체를 줄일 필요가 있다.

사이버보안 측면에서는 간접적인 악용 패턴과 추론 기반 위협을 식별할 수 있도록 고급 모니터링, 이상 징후 탐지, 시나리오 계획 역량에 투자해야 한다. AI가 어떤 정보를 조합해 민감한 결론을 생성할 수 있는지 사전에 분석하고 위험 시나리오별 대응 체계를 마련하는 것이 핵심이다.

AI 추론에 대한 투명성과 인간의 감독도 요구된다. 기업은 AI가 추론할 수 있는 영역과 제한해야 할 영역을 명확하게 정의하고 이를 문서화해 정기적으로 감사해야 한다. 민감한 데이터와 관련된 조치를 실행하기 전에는 AI가 생성한 추론을 사람이 직접 검증하는 ‘휴먼 인 더 루프(human in the loop)’ 절차를 의무화할 필요가 있다고 가트너는 제언했다.

이준문 기자/jun@newstap.co.kr

ⓒ 뉴스탭(https://www.newstap.co.kr) 무단전재 및 재배포금지