노스캐롤라이나대학교 샬럿캠퍼스, 중국과학기술대학교, 워싱턴대학교 공동연구팀이 구글 AI 오버뷰 같은 인공지능 검색엔진을 분석한 결과, 기존 검색과는 완전히 다른 방식으로 웹사이트를 선택한다는 사실을 밝혀냈다. 연구 논문에 따르면, AI가 이해하기 쉬운 글을 압도적으로 선호하며, 웹사이트들이 AI로 글을 다듬을 때 오히려 정보가 더 다양해진다는 놀라운 결과가 나왔다.

AI 검색 시대의 도래: 20억 명이 경험하는 새로운 검색 혁명

구글 AI 오버뷰는 2024년 5월 출시 이후 200개 이상 국가에 배포되어 2025년 7월 기준으로 월 20억 명이 사용하고 있다. 마이크로소프트도 2023년 2월 GPT-4 기술을 탑재한 뉴빙을 출시하며 본격적인 AI 검색 경쟁에 뛰어들었다. 이들 서비스는 단순히 웹사이트 목록을 보여주는 기존 검색과 달리, 여러 소스의 정보를 종합해 AI가 직접 답변을 만들어주는 방식으로 작동한다.

AI 검색의 등장으로 새로운 시장이 형성되고 있다. 기존 검색엔진 최적화(SEO) 시장은 2024년 기준 891억 달러에 달하며, 여기에 생성형 엔진 최적화(GEO)라는 새로운 분야가 추가로 등장했다. 연구팀은 웹사이트들이 AI 검색에서 노출되기 위해서는 완전히 새로운 접근법이 필요하다고 분석했다.

AI 검색이 좋아하는 글의 비밀: '예측하기 쉬운 문장'이 핵심

구글 AI 오버뷰는 사람들이 질문하면 여러 웹사이트 내용을 종합해서 답변을 만들어준다. 연구팀이 약 1만 개 웹사이트를 조사한 결과, AI는 자신이 '예측하기 쉬운' 글을 훨씬 자주 인용한다는 것을 발견했다. 여기서 '예측하기 쉽다'는 것은 AI가 다음에 올 단어를 쉽게 맞힐 수 있다는 뜻이다. 이를 측정하는 지표가 '퍼플렉시티'인데, 낮을수록 예측하기 쉽다는 의미다. 마치 "오늘 날씨가 _____" 다음에 "좋다"나 "나쁘다" 같은 자연스러운 단어가 올 것을 예상하는 것처럼, AI도 비슷한 패턴으로 글을 이해한다.

구체적인 수치로 보면, 퍼플렉시티가 한 표준편차만큼 낮아질 때 인용될 확률이 47%에서 56%로 증가했다. 놀라운 점은 이런 특성이 일반 구글 검색에서는 전혀 나타나지 않는다는 것이다. 즉, AI 검색과 기존 검색이 완전히 다른 기준으로 웹사이트를 선택한다는 뜻이다.

비슷한 내용끼리 모이는 AI의 특성

AI 검색엔진이 인용하는 웹사이트들을 자세히 살펴보니, 서로 비슷한 내용을 담고 있는 경우가 많았다. 기존 검색에서는 순위가 낮았던 잘 알려지지 않은 웹사이트들도 포함되어 있지만, 결국 비슷한 관점의 정보들이었다. 연구팀은 이것이 AI가 일관성 있는 답변을 만들기 위해 의도적으로 비슷한 시각의 자료들을 선택하기 때문이라고 분석했다. 겉보기에는 다양한 출처에서 정보를 가져온 것 같지만, 실제로는 기존 검색 결과보다 더 좁은 관점의 정보에 노출될 수 있다는 의미다.

이런 현상은 마이크로소프트 뉴빙을 대상으로 한 별도 실험에서도 동일하게 나타났다. 연구팀이 2023년 4월 700개 질의로 실험한 결과, 빙 채팅도 예측 가능한 콘텐츠를 선호하고 의미적으로 유사한 소스들을 선택하는 패턴을 보였다.

구글의 의도인가, AI의 본성인가?

이런 현상이 구글이 의도적으로 설계한 것인지 확인하기 위해, 연구팀은 구글의 AI 모델인 '제미나이'로 별도 실험을 했다. 그 결과 동일한 패턴이 나타났다. 즉, 이런 특성은 구글의 특별한 설계가 아니라 AI 언어모델 자체가 가진 기본적인 특성이라는 것이 밝혀졌다. AI는 기본적으로 앞 단어들을 보고 다음 단어를 예측하는 방식으로 작동한다. 따라서 자연스럽게 예측하기 쉬운 글을 선호하게 되고, 일관된 답변을 만들기 위해 비슷한 내용들을 모으는 경향을 보이는 것이다.

실험에서는 또 다른 중요한 발견도 있었다. AI가 문서의 앞부분에 있는 내용을 뒷부분보다 더 자주 인용한다는 '위치 편향' 효과다. 연구팀이 제미나이 RAG 시스템으로 실험한 결과, 문서 내 위치가 뒤로 갈수록 인용될 확률이 현저히 떨어지는 것으로 나타났다. 구체적으로 문서 내 위치가 한 단계씩 뒤로 밀릴 때마다 인용 확률이 통계적으로 유의미하게 감소했다. 이는 AI 시스템이 정보를 처리할 때 문서의 앞부분에 더 많은 '주의'를 기울인다는 것을 의미한다.

웹사이트 운영자들을 위한 실용적 조언

연구팀은 실험 결과를 바탕으로 웹사이트 운영자들을 위한 구체적인 전략을 제시했다. 첫째, 핵심 내용과 주요 논점을 웹페이지 상단에 배치하는 것이 유리하다. AI가 문서 앞부분의 내용을 더 자주 인용하기 때문이다.

둘째, AI가 이해하기 쉬운 자연스러운 문장 구조를 사용해야 한다. 복잡하거나 전문적인 용어보다는 AI가 예측하기 쉬운 표현을 선택하는 것이 효과적이다.

셋째, 실제 AI 시스템을 이용한 사전 테스트가 가능하다. 연구팀은 구글과 같은 모델 계열인 제미나이를 사용하는 검색 증강 생성(RAG) 시스템이나 오픈소스 변형인 제마 등을 활용해 웹사이트 배포 전에 최적화 효과를 미리 확인할 수 있다고 설명했다.

예상 밖의 결과: AI로 다듬은 글이 오히려 다양성을 높인다

가장 흥미로운 발견은 웹사이트들이 AI를 이용해 글을 다듬었을 때 나타나는 결과다. 보통은 AI가 모든 글을 비슷하게 만들 것이라 예상했지만, 실제로는 정반대였다. AI로 다듬어진 글들이 검색 결과를 오히려 더 다양하게 만들었다.

연구팀은 이유를 다음과 같이 분석했다. 원래 AI가 이해하기 어려웠던 글들이 다듬기 과정을 통해 AI가 처리할 수 있는 형태로 바뀐다. 그러면 AI가 고려할 수 있는 자료의 범위가 넓어지면서, 결과적으로 더 많은 웹사이트를 인용하게 된다.

실험 결과, 일반적인 AI 다듬기로도 인용 웹사이트 수가 평균 1.07개 증가했고, 검색 노출을 목적으로 명확히 다듬어진 글에서는 2.11개나 증가했다. 특히 검색 노출을 목적으로 다듬어진 콘텐츠에서는 이런 효과가 더욱 뚜렷했다.

사용자별로 다른 효과: 학력에 따라 활용법이 달라진다

150명을 대상으로 한 실험에서는 AI로 다듬어진 정보가 사용자에게 미치는 영향이 교육 수준에 따라 달랐다.

대학원 이상의 학력을 가진 사용자들은 주로 시간 절약의 효과를 봤다. 이들은 원래 정보가 부족하다 싶으면 추가로 검색을 더 하는 습관이 있었는데, 개선된 정보를 받으면 추가 검색을 줄이면서도 같은 수준의 결과를 얻을 수 있었다. 구체적으로는 작업 완료 시간이 상당히 단축되었다.

반면 대학 졸업 이하의 사용자들은 검색 횟수는 비슷했지만, 한 번의 검색으로 더 풍부한 정보를 얻게 되어 최종 결과물의 정보 다양성 점수가 향상되었다.

연구팀은 이런 차이에 대해 고학력자들은 이미 다양한 정보원을 찾는 경향을 가지고 있어서 콘텐츠 다듬기와 정보 다양성 향상이 효율성 증대로 이어진다고 분석했다. 반면 상대적으로 교육 수준이 낮은 참가자들은 즉시 이용 가능한 정보에 의존하는 경향이 있어 쿼리당 정보 향상의 혜택을 더 실질적으로 받는다고 설명했다.

검색엔진 최적화(SEO)의 새로운 전환점

AI 검색의 등장으로 기존 SEO 업계에도 변화가 일고 있다. 2024년 기준 891억 달러 규모의 SEO 시장에 새로운 분야인 생성형 엔진 최적화(GEO)가 등장했다. 기존 SEO가 검색 순위 상승을 목표로 했다면, GEO는 AI가 생성하는 답변에 인용되는 것을 목표로 한다. 연구팀은 이것이 완전히 다른 접근법이 필요한 분야라고 분석했다.

특히 AI 검색 시스템의 불투명성 때문에 최적화가 더욱 어려워졌다고 지적했다. 기존 검색엔진도 알고리즘을 공개하지 않았지만, AI 시스템은 개발자조차 완전히 예측하기 어려운 복잡성을 가지고 있다. 연구팀은 "이런 행동 패턴은 알고리즘 개발자와 시스템 설계자들조차 부분적으로만 예측 가능하다"고 지적했다.

AI 검색 생태계의 미래: 승자와 패자가 갈리는 시점

이번 연구 결과는 단순한 학술적 발견을 넘어 인터넷 생태계 전반의 대변혁을 예고한다. AI 검색이 월 20억 명 규모로 성장한 현 시점에서, 웹 콘텐츠 제작과 유통 방식이 근본적으로 재편될 가능성이 높다.

가장 큰 변화는 콘텐츠 제작 시장에서 나타날 것으로 보인다. 연구에서 확인된 'AI 친화적' 글쓰기 방식이 표준이 되면서, 전통적인 SEO 전문가들은 완전히 새로운 기술을 익혀야 하는 상황에 직면했다. 특히 '예측 가능한 문장 구조'와 '핵심 내용의 상단 배치' 같은 새로운 규칙들이 콘텐츠 업계의 새로운 공식이 될 전망이다.

기업 관점에서는 마케팅 전략의 대전환이 불가피하다. 검색 상위 노출만큼 AI 인용이 중요해진 상황에서, 브랜드 노출 방식부터 콘텐츠 마케팅 전략까지 전면 재검토가 필요하다. 특히 B2B 기업들의 경우 전문적이고 복잡한 설명보다는 AI가 이해하기 쉬운 단순한 표현으로 제품을 소개하는 방향으로 전환해야 할 것이다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1: AI 검색엔진이 기존 검색과 어떻게 다른가요?

A1: 기존 검색은 관련 웹사이트 목록을 보여주지만, AI 검색은 여러 사이트 내용을 읽고 직접 답변을 만들어 줍니다. 특히 AI가 이해하기 쉬운 자연스러운 문장을 선호하고, 비슷한 관점의 자료들을 우선적으로 선택하는 특징이 있습니다. 현재 구글 AI 오버뷰만으로도 월 20억 명이 사용하고 있습니다.

Q2: 모든 웹사이트가 AI용으로 글을 바꾸면 내용이 똑같아지지 않나요?

A2: 실제로는 반대입니다. AI용으로 다듬어진 글들이 오히려 더 다양한 정보를 제공합니다. AI가 이해하기 어려웠던 글들이 이해 가능한 형태로 바뀌면서, AI가 더 많은 자료를 활용할 수 있게 되기 때문입니다. 실험에서도 인용 웹사이트 수가 1-2개 이상 증가하는 것으로 나타났습니다.

Q3: 웹사이트 운영자는 어떻게 대응해야 하나요?

A3: 연구팀에 따르면 핵심 내용을 웹페이지 상단에 배치하고, AI가 이해하기 쉬운 자연스러운 문장을 사용해야 합니다. 또한 제미나이나 오픈소스 AI 모델로 사전 테스트를 해보는 것도 좋은 방법입니다. 기존 SEO와는 완전히 다른 GEO 전략이 필요한 시대입니다.

기사에 인용된 논문 원문은 arXiv에서 확인할 수 있다.

논문 명: When Content is Goliath and Algorithm is David: The Style and Semantic Effects of Generative Search Engine

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.