금융회사들이 가진 고객 거래 정보는 AI 연구에 매우 유용하지만, 개인정보 보호 규정 때문에 공개할 수 없다. 이 문제를 해결하기 위해 미국 금융회사 캐피털원과 메릴랜드대학교 연구팀이 대규모 언어모델을 활용해 실제 고객 정보를 전혀 사용하지 않고도 진짜 같은 가짜 신용카드 거래 데이터를 만들어냈다. 이들이 공개한 데이터는 무려 3천만 건에 달하며, 23,000명의 가상 인물이 평균 2년간 사용한 신용카드 내역을 담고 있다.

나이·직업·취미 입력하면 AI가 그 사람의 소비 패턴 예측

연구팀이 개발한 '퍼스널레저'라는 시스템은 AI의 창의성과 컴퓨터 프로그램의 정확성을 합친 것이다. 이 시스템이 작동하는 방식은 이렇다. 먼저 가상의 사람에 대한 상세한 프로필을 만든다. 나이, 직업, 교육 수준, 취미, 자동차를 가지고 있는지 등 20가지 정보를 설정한다. 그러면 라마(Llama) 3.3 70B라는 대규모 언어모델이 "이런 사람이라면 언제 어디서 무엇을 살까?"를 예측해서 거래 내역을 만들어낸다.

예를 들어 72세의 은퇴한 제조업 관리자 조나단이라는 가상 인물이 있다. 조나단은 골프를 즐기고 역사에 관심이 많다는 설정이다. 라마 모델은 이런 특성을 고려해서 조나단이 골프장 회원권 비용을 결제하고, 역사 방송 채널 구독료를 내고, 목공 잡지를 구독하는 등의 거래 내역을 자동으로 생성한다. 연구팀은 이런 방식으로 23,000명의 가상 인물에 대해 각각 2년치 신용카드 사용 내역을 만들었고, 전체 거래 건수는 3천만 건이 되었다.

AI 혼자 맡기면 계산 실수 투성이... 감시 프로그램 붙여 해결

AI만으로 거래 내역을 만들면 큰 문제가 생긴다. 며칠만 지나도 회계 계산이 엉망이 되기 때문이다. 연구팀이 라마 3.3 70B 모델만 사용해서 거래 내역을 만들었을 때 이런 문제들이 발생했다. 식료품을 비현실적으로 자주 사거나, 넷플릭스 같은 구독 서비스가 다음 달에 자동으로 결제되지 않거나, 잔액 계산이 틀려서 카드값을 너무 많이 내는 일이 벌어졌다. 특히 거래 내역이 길어질수록 이런 오류가 쌓여서 실제 사람의 거래와는 전혀 다른 결과가 나왔다.

이 문제를 해결하기 위해 연구팀은 매번 거래가 생성될 때마다 검사하는 감시 프로그램을 추가했다. 이 프로그램은 몇 가지 중요한 규칙을 체크한다. 들어온 돈과 나간 돈의 합이 맞는지, 신용카드 한도를 넘지 않았는지, 카드값을 기한 내에 냈는지, 구독 서비스가 매달 자동으로 갱신되는지 등을 확인한다. 라마 모델이 거래를 제안하면 프로그램이 이를 검토하고, 규칙에 어긋나면 "이 부분이 잘못됐으니 이렇게 고쳐라"라고 구체적으로 알려준다. 모델이 다시 수정안을 내면 프로그램이 재검토하는 식이다. 이렇게 해서 AI의 다양한 아이디어와 프로그램의 정확한 계산을 동시에 얻을 수 있었다.

"학력 높고 차 있으면 더 쓴다"... 실제 소비 패턴 그대로 재현

생성된 가짜 거래 데이터를 분석해보니 실제 사람들의 소비 패턴과 놀랍도록 비슷했다. 교육을 많이 받은 사람일수록 한 달에 돈을 더 많이 썼고, 자동차를 가진 사람이 없는 사람보다 지출이 많았다. 나이별로는 중년에 지출이 가장 많고 나이가 들수록 줄어드는 패턴을 보였는데, 이는 실제 통계와 일치한다. 또 소비 성향을 5단계로 나눴을 때 절약형에서 소비형으로 갈수록 지출이 단계적으로 증가하는 모습도 확인됐다.

시간에 따른 소비 패턴도 현실적이었다. 12월에 다른 달보다 조금 더 많이 쓰는 것으로 나타났고, 금요일과 토요일에 평일보다 지출이 많았다. 재미있는 점은 공휴일과 평일의 평균 지출액은 비슷한데, 공휴일에는 사람마다 차이가 훨씬 컸다는 것이다. 집에서 쉬는 공휴일도 있고 쇼핑을 많이 하는 공휴일도 있기 때문이다. 돈이 부족한 사용자의 경우 신용카드 사용률이 시간에 따라 급격하게 오르락내리락하는 불안정한 패턴을 보였는데, 이것도 실제 현상을 잘 반영한 것이다.

AI가 사기 거래 찾기... '도용 거래 분별'은 최고 성능 모델도 100점 만점에 47.6점

연구팀은 만든 데이터가 실제로 쓸모있는지 확인하기 위해 두 가지 테스트를 준비했다. 첫 번째는 "이 사람이 곧 돈이 부족해질까?"를 예측하는 것이다. 거래 내역을 보고 앞으로 신용카드 빚이 가진 현금보다 많아질지 맞춰야 한다. 두 번째는 신용카드 도용을 찾아내는 것이다. 정상적인 거래 사이에 다른 사람의 하루치 거래를 몰래 섞어 넣고, 어느 거래가 이상한지 찾아내야 한다. 연구팀은 연습용 데이터 150,000개와 시험용 데이터 36,000개를 준비했다.

최신 AI 모델 15개로 테스트한 결과, 돈 부족 예측 과제에서는 대부분의 모델이 무작위로 찍는 것보다 훨씬 좋은 성능을 보였다. 가장 성적이 좋았던 '피라포머'라는 모델은 평가 지표에서 0.828점을 기록했고, 우리가 잘 아는 '트랜스포머' 모델도 0.817점으로 좋은 결과를 냈다(무작위는 0.5점).

하지만 신용카드 도용을 찾아내는 과제는 훨씬 어려웠다. 가장 좋은 트랜스포머 모델도 100점 만점에 47.6점에 그쳤다. 일반적인 거래와 도용 거래를 구분하기가 어렵기 때문이다. 식료품을 사거나 주유하는 것처럼 누구나 하는 거래는 정상인지 도용인지 판단하기 힘들다.

AI 발전해도 계속 쓸 수 있다

이 시스템의 큰 장점은 계속 발전시킬 수 있다는 점이다. 연구팀 설명에 따르면 과거 거래 내역을 얼마나 보여주느냐만 조절해도 문제 난이도를 바꿀 수 있다. 돈 부족 예측의 경우, 3개월치 거래를 보여주면 그 사람의 패턴을 파악하기 쉬워서 쉬운 문제가 되고, 1개월치만 보여주면 정보가 부족해 어려워진다. 반대로 도용 탐지는 거래 내역이 길수록 정상 패턴이 명확해져서 그 안에 숨어 있는 하루치 이상 거래를 찾기가 더 어려워진다.

더 중요한 것은 감시 프로그램의 규칙을 바꿔서 새로운 상황을 만들 수 있다는 점이다. 신용카드 한도를 더 낮게 설정하거나, 월급 들어오는 주기를 바꾸거나, 새로운 구독 서비스를 추가할 수 있다. 경제 위기로 물가가 오르거나 실업이 생기는 상황도 반영할 수 있다. 명절 효과를 더 강하게 만드는 것도 가능하다. 이런 변경을 해도 회계 규칙은 프로그램이 자동으로 지켜주기 때문에 데이터의 정확성은 유지된다. 연구팀은 이 덕분에 AI 모델이 아무리 발전해도 계속 새로운 도전 과제를 제공할 수 있다고 강조했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 실제 고객 정보 없이 어떻게 진짜 같은 거래 내역을 만들 수 있나요?

A: 대규모 언어모델은 이미 세상에 대해 많은 것을 알고 있습니다. 어떤 직업을 가진 사람이 언제 어디서 무엇을 사는지, 계절이나 명절에 따라 소비가 어떻게 달라지는지 등의 일반적인 지식을 학습했기 때문입니다. 여기에 나이, 직업, 취미 같은 가상 인물의 상세 정보를 입력하면, 라마 3.3 70B 같은 모델은 "이런 사람이라면 이렇게 소비할 것"이라고 추론해서 거래 내역을 만들어냅니다. 실제 고객 데이터가 없어도 사람들의 일반적인 소비 방식을 재현할 수 있는 이유입니다.

Q2. 기존의 가짜 데이터 생성 방법과 무엇이 다른가요?

A: 기존 방법들은 실제 데이터의 패턴을 학습해서 비슷한 데이터를 만들어냅니다. 하지만 이 방법들은 잔액 계산, 카드값 납부 기한, 구독 서비스 갱신 같은 금융의 엄격한 규칙을 자주 어기고, 무엇보다 학습에 실제 고객 데이터가 필요해서 공개할 수 없습니다. 퍼스널레저는 대규모 언어모델로 다양한 거래를 만들되, 모든 거래를 감시 프로그램이 검사해서 회계 규칙 위반을 원천 차단합니다. 실제 고객 데이터 없이도 규칙을 지키는 데이터를 만들 수 있습니다.

Q3. 이 가짜 거래 데이터는 어디에 쓰이나요?

A: 신용카드 사기를 찾아내거나, 신용 위험을 예측하거나, 고객 행동을 예측하는 AI 모델을 개발하고 테스트하는 데 쓰입니다. 특히 실제 고객 데이터를 구하기 어려운 대학이나 작은 회사에 유용합니다. 연구팀이 제공한 두 가지 테스트(돈 부족 예측, 도용 탐지)를 통해 여러 AI 모델의 성능을 공정하게 비교할 수 있습니다. 또한 규칙을 바꿔서 다양한 경제 상황을 시뮬레이션하는 연구에도 활용할 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: PersonaLedger: Generating Realistic Financial Transactions with Persona Conditioned LLMs and Rule Grounded Feedback

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.