[출처 : 챗GPT 생성 이미지]

2025년 들어 인터넷의 트래픽 구조가 눈에 띄게 바뀌고 있다. 기존처럼 사람이 검색하고 클릭하는 방식이 아니라, AI 봇이 직접 웹을 검색하고 요약해 정보를 전달하는 시대가 도래한 것이다.

최근 급부상하고 있는 이른 바 '리트리벌 AI 봇(retrieval AI bots)’이 그 핵심으로 사용자 대신 웹을 탐색하며 필요한 정보를 수집·가공해 제공하고 있다. 사용자에게는 더 이상 수십 개의 링크가 아닌, 핵심만 추린 요약 정보가 '깔끔하게' 제공된다.

12일(현지시간) 워싱틴포스트가 AI 트래픽 분석업체 '톨빗(TollBit)'에서 입수한 데이터에 따르면 이런 검색 봇들로 인한 AI 관련 트래픽은 매 분기 폭발적으로 증가하고 있다. 톨빗의 분석에 따르면, 지난 몇 달 사이 이 새로운 AI 봇의 트래픽은 무려 49% 증가했으며 특히 OpenAI, Google, Perplexity AI, 그리고 비공식 크롤러들이 그 중심에 있다.

[출처 : 톨빗 홈페이지]

AI가 검색하고, 요약하고, 대답하는 이 글로벌 현상에 대해 “지금은 출판사에서 시작하지만 이건 곧 우리 모두에게 영향을 줄 것”이라고 AI 트래픽 분석업체 톨빗(TollBit)의 CEO 토싯 패니그라히(Toshit Panigrahi)은 경고했다. 또한 '사이트를 방문하는 사람들은 감소하지만 콘텐츠 순 접근량은 근본적으로 폭발적으로 증가할 것'이라고 예상했다.

[출처 : 톨빗 홈페이지]

이들 봇은 사용자의 질의에 대해 인터넷을 직접 검색한 후, 그 결과를 '링크 대신 문장 형태'로 요약해 제공한다. 인간이 일일이 정보를 찾는 수고를 덜어주는 셈이다. 퍼플렉시티(Perplexity), 아마존의 루프, 마이크로소프트의 코파일럿 등도 이러한 기술을 활용하고 있다.

이러한 변화는 인터넷 콘텐츠 생태계에 큰 영향을 미치고 있으며, 미디어와 웹사이트 운영자들은 저작권 침해와 광고 수익 저하를 우려하고 있다.

“AI봇이 우리 웹사이트를 읽고 정보를 가져가 트래픽과 광고 수익 모두 감소 중”이라며 한 중소 뉴스 웹사이트 운영자는 “AI가 정보를 빼가는 것”이라며 불만을 표했다.

실제로, 리트리벌 봇이 제공하는 요약 콘텐츠로 인해 원문을 직접 방문하는 사용자는 줄어들고, 이에 따라 수익 기반이 흔들리는 구조다. 

일부는 AI 크롤러를 차단하고 있지만, 이미 많은 정보가 학습되었거나 무단 요약되고 있는 상황이며 톨빗은 뉴스 발행사 등의 차단 노력에도 불구하고 3월 한 달 동안만 2,600만 건 이상의 AI 스크래핑이 이러한 차단 기능을 우회했다는 사실을 발견했다고 언급했다. 

반면 AI 기업들은 이에 대해 "정보를 보다 효율적으로 전달하는 것"이라고 주장한다. 

OpenAI 등은 웹 크롤링을 통해 더 나은 사용자 경험을 제공하고 있으며, 출처 링크를 명시하는 방식으로 저작권 이슈에 대응하고 있다고 밝혔다.

그러나 AI가 정보 유통의 중심에 서면서, 누가 정보를 소유하고, 누가 그 가치를 누릴 것인지에 대한 근본적인 질문이 제기되며 더 많은 충돌이 예상된다고 전문가들은 보고 있다. 

원문 기사 보러 가기

글 / 홍정민 news@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com