인공지능(AI)이 만들어낸 저품질 콘텐츠가 사이버보안 업계를 위협하고 있다. AI가 실제로 존재하지 않는 보안 취약점을 만들어내고 이를 그럴듯한 보고서로 포장해 제출하는 사례가 급증하고 있기 때문이다. '버그 바운티'는 기업들이 자사 소프트웨어나 웹사이트의 보안 허점을 찾아내는 해커들에게 돈을 주는 제도다. 그런데 최근 이 제도를 악용해 AI로 가짜 보안 문제를 만들어 보고하는 사람들이 늘고 있다.

테크크런치가 24일(현지 시간) 보도한 내용에 따르면, 지난 몇 년간 AI가 만든 가짜 콘텐츠는 웹사이트, SNS, 언론사는 물론 실제 행사까지 오염시켜 왔다. 이제 보안업계도 이 문제에 휘말리게 됐다. AI 보안 도구를 만드는 회사 런시빌의 창립자 블라드 이오네스쿠는 "사람들이 그럴듯하고 전문적으로 보이는 보고서를 받고 있다. 그런데 자세히 살펴보면 '어라, 이 보안 문제가 어디 있지?'라는 생각이 든다"고 말했다.

이오네스쿠는 "결국 AI가 지어낸 얘기였던 것으로 드러난다. 기술적인 내용이 모두 AI가 만들어낸 거짓말이었다"고 설명했다. 그는 AI 챗봇이 도움이 되는 답변을 하도록 만들어졌기 때문에 이런 문제가 생긴다고 지적했다. 그는 "보고서를 달라고 하면 보고서를 만들어준다. 그러면 사람들이 이를 복사해서 버그 바운티 사이트에 올리고, 이로 인해 사이트와 기업들이 가짜 보고서에 파묻히게 된다"며 "금처럼 보이지만 실제로는 쓰레기인 것들을 너무 많이 받게 되는 게 문제"라고 말했다.

실제로 지난 1년간 이런 일들이 벌어졌다. 보안 전문가 해리 신토넨은 유명한 오픈소스 프로젝트 '컬'이 가짜 보고서를 받았다고 폭로했다. 신토넨은 SNS에 "공격자가 크게 실수했다. 컬은 멀리서도 AI가 만든 가짜를 알아챌 수 있다"고 썼다. 비영리단체 지원 플랫폼 오픈 컬렉티브의 벤자민 피우플도 자신들의 메일함이 "AI가 만든 쓰레기로 넘쳐난다"고 토로했다. 깃허브에서 보안 프로젝트를 관리하는 한 개발자는 "거의 모든 보고서가 AI가 만든 가짜"라며 올해 초 버그 바운티를 아예 중단했다.

해커들과 기업들 사이에서 중개 역할을 하는 주요 버그 바운티 회사들도 AI가 만든 가짜 보고서가 급증하고 있다고 밝혔다. 업계 1위 업체 해커원의 미키엘 프린스는 테크크런치에 "우리도 AI가 만든 가짜 콘텐츠를 봤다"며 "실제처럼 보이지만 AI가 만든 것이고 실제로는 아무 문제가 없는 가짜 취약점들이 늘고 있다. 이런 쓸모없는 제출물들이 보안 프로그램의 효율성을 떨어뜨리고 있다"고 말했다.

또 다른 업체 버그크라우드의 창립자 케이시 엘리스는 AI를 써서 버그를 찾고 보고서를 작성해 제출하는 사람들이 분명히 있다고 말했다. 그는 전체 제출물이 주당 500건씩 늘고 있다고 밝혔다. 엘리스는 "AI가 대부분의 보고서 작성에 쓰이고 있지만, 아직 저품질 가짜 보고서가 크게 늘지는 않았다. 앞으로는 더 심해질 것 같지만 지금은 괜찮다"고 말했다.

자체적으로 버그 바운티를 운영하는 구글, 메타, 마이크로소프트, 모질라 등 대기업들의 상황도 확인해봤다. 파이어폭스 브라우저를 만드는 모질라의 다미아노 드몬테 대변인은 "AI가 만든 것으로 보이는 가짜나 저품질 버그 보고서가 크게 늘지는 않았다"며, 월 5~6건 정도만 거짓 보고서로 판정해 거부하고 있다고 말했다. AI에 큰 투자를 한 마이크로소프트와 메타는 답변을 거부했고, 구글은 답변하지 않았다.

이오네스쿠는 늘어나는 AI 가짜 보고서 문제를 해결하려면 최소한 1차 검토를 하고 정확성을 확인할 수 있는 AI 시스템에 계속 투자해야 한다고 말했다. 실제로 화요일 해커원은 사람과 AI를 함께 사용하는 새로운 검토 시스템을 출시했다. 이 시스템은 AI로 먼저 쓸모없는 보고서를 걸러내고 중복을 찾아낸 뒤, 사람이 직접 확인해 진짜 문제만 골라낸다. 해커들이 점점 더 AI를 쓰고 기업들도 AI로 보고서를 걸러내게 되면서, 결국 어느 쪽 AI가 이길지 지켜봐야 할 상황이다.

해당 기사의 원문은 테크크런치에서 확인 가능하다.

이미지 출처: 이디오그램 생성