우리는 오늘도 방대한 인터넷의 정보를 ‘검색’하고 있다. 필요한 물건을 구입하는 온라인 쇼핑, 셀 수도 없이 많은 사이트를 돌아다니는 웹서핑을 하거나 재미있는 게임을 고를 때도, 심지어 OTT에서 영화를 보기 전에도 키워드 검색부터 시작한다. 

▲ 초고속 인터넷이 보급되면서 정보 검색은 PC 유저의 필수 스킬이 되었다

<영상 출처 : Youtube 안동MBC PLUS 채널>

2000년대 초반에는 ‘인터넷 정보 검색사’라는 자격증이 유행했을 정도로 인터넷 검색은 최첨단 시대를 사는 젊은이들의 중요한 스킬이었다. 또한, IT 버블 시대를 지나오며 수많은 검색 엔진들이 사활을 걸고 경쟁하는 시기였다. 요즘은 키보드로 단어를 입력할 필요 없이 LLM(Large Language Model)을 기반으로 AI가 알아서 검색을 해준다만, 당시엔 어떤 검색 엔진으로 어떤 단어를 입력하느냐가 정확한 정보 검색의 관건이 되곤 했다. 덕분에 거의 춘추전국시대를 방불케하는 검색 엔진의 무한 경쟁 시대가 되었으니… 이번 기사에서 그 시절을 추억해 본다. 

태초에 인터넷이 검색 엔진을 창조하시니라

잘 알다시피 월드와이드웹, www는 1990년 대 초 미국에서 탄생되었다. 종이 문서로만 보관되던 무한한 정보가 웹으로 이전되면서 사용자는 웹 브라우저를 통해 서버에 저장된 온라인 문서를 읽는 시대가 도래한 것이다. 자연스럽게 사용자가 원하는 정보를 찾게 도와주는 검색 엔진의 필요성이 함께 대두되었다. 

▲ 세계 최초 검색 엔진  Archie

<이미지 출처 : www.linkedin.com>

여러 의견이 있지만, 최초의 검색 엔진은 1990년 ‘Archie’라고 보는게 지배적이다. 당시에는 하이퍼텍스트 개념이 대중화되기 전이라 공개된 FTP 서버에 저장된 문서 파일을 주기적으로 내려 받은 후 디렉터리나 파일 검색하듯이 찾는 형태였다. 단어를 검색한다기 보다는 문서 이름, 파일 이름을 찾는 것이라 보는 게 더 정확할 것이다. 마치 도서관에서 알파벳으로 정렬된 도서 카드로 책는 단계와 비슷하다. 

이런 원시 형태의 검색 엔진은 1993년에 이르러 JumpStation이 나오면서 '문서 수집→색인 작성→질의'로 이루어지는 현대 검색 엔진의 골조를 갖추게 된다. 더불어 1994년 웹문서 전체를 검색해 주는 엔진, 이른바 크롤링을 해주는 웹크롤러가 나오면서 검색 엔진의 '기본적인' 진화는 마무리된다. 

까만 강아지가 쏘아올린 공, 야후가 받다

▲ 라이코스의 초기 서비스 페이지, 가운데 배너광고가 눈에 띈다

Archie나 JumpStation은 모두 대학교 연구실에서 연구를 목적으로 만든 검색 엔진이다. 그렇다면 최초의 상업적 검색 엔진은 무엇이었을까? 한때 광고계에서 까만 개로 우리에게 너무도 잘 알려진 라이코스가 그 주인공이다. 카네기 멜론대학교의 연구실에서 처음 개발된 라이코스는 1995년 투자를 받아서 몸집을 불려나갔다. 

▲ 라이코스의 국내 광고, 표현의 수위가 지금보다 더 쎈 느낌이다

라이코스는 지금도 웹 광고의 대부분을 차지하는 '배너 광고'를 검색 엔진 사이트에 붙이기 시작했다. 노출이나 클릭수를 바탕으로 이윤을 추구한 것이다. 또한, 그 배너 광고를 방문자들에게 더 오래 노출하기 위해 검색이 아닌 다른 서비스를 하나둘 붙이기 시작했다. 검색어 입력줄 주위로 메일링 서비스, 헤드라인 뉴스 등을 함께 제공한 건데, 지금의 종합 포털 사이트의 출발이라 할 수 있다. 하지만, 2000년 대 들어 IT 버블이 꺼지고, 배너 광고 이외엔 수익구조가 약했던 라이코스는 결국 사업을 접을 수밖에 없었다. 

라이코스와 거의 비슷한 시기에 등장한 야후는 스탠퍼드 대학생 제리 양, 데이비드 파일로가 공동으로 제작한 검색 엔진이다. 하지만, 야후는 라이코스와는 달리 사람이 직접 웹페이지를 선별, 분류하여 디렉터리 작업을 거쳐 검색의 우선순위를 부여하는 것이 특징이었다. 수작업으로 한 땀 한 땀 색인 DB를 구축했음에도 검색 결과가 경쟁사보다 꽤 쓸만해서 인기가 많았다. 또한, 웹페이지 이외에도 유즈넷, 이메일에 포함된 키워드까지 검색이 가능한 것도 장점 중 하나였다. 

▲ 1998년 야후의 TV 광고

그리고 라이코스가 했던 것처럼 검색 사이트에 배너 광고를 달고 다양한 콘텐츠, 채팅 서비스, 유아동 관련 사이트, 지도 서비스까지 추가해 종합 포털 사이트로 진화했고 2000년 대까지 전 세계 검색 엔진 시장을 평정했을 정도로 성장가도를 달렸다. 

마침내 그분이 오셨으니...

이렇게 라이코스와 야후가 시장을 지배하고 있던 1998년, 훗날 최종 보스로 성장하는 검색 엔진이 탄생했으니, 바로 구글이다. 구글은 BackRub이라는 검색 서비스를 모태로 스탠퍼드 대학생 세르게이 브린, 래리 페이지가 설립했다. 

구글은 다른 검색 엔진이 특정 키워드가 웹페이지에 얼마나 많이 나오는가에 초점을 두고 검색 결과 순위에 반영하는 것과는 달리 '페이지랭크'라는 알고리즘으로 특정 페이지로 들어오는 링크와 그 페이지가 클릭되는 횟수를 순위에 반영해 결과로 보여준다. 단순히 해당 단어가 많이 나오는 페이지보다 유저가 실제 클릭하고 들어가는 '신뢰성' 높은 사이트가 우선순위라는 것이다. 페이지랭크는 훗날 애드센스라는 광고 시스템과 연결되어 구글의 주요 수익 창출 모델로 진화하게 된다. 

▲ 구글의 생성형 AI 검색, SGE로 검색한 화면

안정적인 수익 모델을 구축하고 검색 결과도 계속 발전시킨 구글은 서비스 영역을 점점 넓히더니 결국 유튜브를 인수하고 안드로이드 운영체제를 개발하는 등 글로벌 기업으로 성장해 지금까지도 거대 기업의 면모를 과시하고 있다. 최근에는 인공지능 챗봇을 탑재한 생성 AI 검색 서비스, SGE까지 선보여 검색 엔진의 혁신을 준비 중이다. 

'한글' 검색 엔진의 씨앗이 퍼지다

대한민국에서의 검색 엔진 전쟁은 어땠을까? 우리나라의 최초 검색 엔진은 1995년 충남대 화공과 김영렬 씨가 개발한 코시크(Kor-Seek)라고 알려져 있다. 1995년 당시엔 외국 검색 엔진은 한글 검색이 불가능했고 오직 영어로만 사용이 가능했다. 한글 검색을 하려면 로마자 표기에 따라 적어야 했다. 덕분에 국내 홈페이지가 검색 엔진에 등록을 하려면 울며 겨자 먹기로 영문 홈페이지를 따로 만들 수밖에 없었다. 유니코드로 돌아가는 웹 브라우저에선 한글 폰트가 아예 깨져서 나왔기 때문이기도 하다. 

이에 한글 검색이 가능케 했던 코시크의 업적은 참으로 대단하다. 한글로 홈페이지를 운영할 수 있고 검색도 된다는 가능성을 확인한 대한민국 인재들은 얼마 지나지 않아 '미스다찾니', '까치네', '심마니' 등 각양각색의 검색 엔진을 개발해 내기에 이르렀고, IT 버블과 함께 맞물려 무한 경쟁 시대에 돌입하게 되었다. 

코시크 이래 처음 탄생한 검색 엔진은 이름도 귀여운 까치네다. 까치네는 대구대학교 전자공학과에 재학 중이던 김성훈 씨가 개발한 검색엔진이다. 까치네는 외국 검색 엔진과는 반대로 사이트 주소에 kr이 들어가는 우리나라 사이트만 크롤링 하는 특징이 있었다. 한글로 된 웹사이트가 외국 주소에 존재하지 않았기 때문인 것으로 추정한다. 덕분에 검색 속도가 빨라진 건 덤이었다. 더불어 주제어 검색은 물론 뉴스와 도메인 검색까지 가능했으며 웹로봇 개념으로 엔진 스스로 크롤링 하여 색인하는 등 많은 가능성을 보여준 검색 엔진이기도 했다. 현재는 서비스를 중단하고 폐쇄된 상태다. 

미스다찾니는 'Mochani'로도 불리는 검색엔진으로 한국과학기술원 컴공과 송현석 씨가 개발했다. 미스다찾니는 우리나라 최초의 메타 검색 엔진으로 기억된다. 자체 검색 엔진이 아니라 다른 검색 사이트들의 결과를 정리해 사용자에게 보여주는 방식이다. 덕분에 앞서 설명한 까치네와는 달리 검색 대상이 엄청나게 많이 존재하므로 검색 속도는 느린 편이었다. 메타 검색 결과의 중복 체크까지 했으니 말이다. 

닷컴 버블과 맞물린 검색 엔진 전성시대

심마니는 한글과컴퓨터에서 개발한 한국 최초 상업적 검색 엔진이다. 그동안 한글 검색 엔진은 별다른 수익 모델 없이 순수한 아마추어 정신으로 만들어진 게 대부분이었다. 심마니는 1996년 10월부터 배너 걸고 수익 올리기 시작했다. 일종의 연관 검색어 시스템인 유의어 확장 시스템이 가장 큰 장점이었다. 1998년 PC 통신 천리안을 운영하던 데이콤에 인수되었고 한글과컴퓨터의 자회사였던 네띠앙과 함께 유럽 법인을 세우는 등 다방면에 사업을 확장하였으나 쟁쟁한 경쟁사들과의 싸움에서 패배하여 서비스를 종료한 검색 엔진이다. 

▲ 극악의 화질이지만, 2000년 핑클이 출연한 한미르 TV-CF

한미르는 정보탐정이라는 검색 엔진과 KT114 서비스가 통합된 사이트다. 메일링 서비스, 개인화된 뉴스, 주소록, 달력 등 지금 보면 소소한 부가 서비스를 제공하는 것이 특징이었다. 전화번호부가 일반적이었던 당시에 온라인으로 전화번호를 무료로 안내해 주는 현재의 지도, 플레이스 서비스의 시초라고 보는 사람도 많다. KT가 참여한 프로젝트여서 그랬는지는 몰라도, 훗날 PC 통신 서비스였던 하이텔과 통합되어 '파란'이라는 명칭으로 변경되었다. 

▲ 당시 인기 배우 문근영씨가 출연한 엠파스 TV-CF

검색어의 진화가 계속 이어졌다는 것은 엠파스에서 찾아볼 수 있었다. 바로 자연어 검색. 특정 단어, 명사 위주로 검색어를 입력했던 그 시절엔 질문이나 문장 그대로 입력해도 검색해 주는 획기적인 서비스였다. 또한 강력한 메일 서비스로도 유명했다. 일종의 메타 검색 방식으로 다른 포털 사이트의 검색 결과까지 같이 검색되는 구조였는데, 이를 빌미 삼아 훗날 천하통일을 이루는 네이버가 소송을 제기하여 엠파스가 패소당하고 몰락의 길을 걷기 시작했다. 

이들이 활약한 2000년 대 초반은 닷컴 버블의 파도를 타고 드림위즈, 마이엠, 코리아닷컴, 네이트 등 수많은 검색 엔진들이 탄생한 시기였다. 그만큼 각 포털 사이트마다 개성이 모두 다르고 장단점이 존재해 비교하고 골라 들어가는 재미도 쏠쏠했다. 하지만, 거품이 사라진 후에 생존에 살아남은 그 당시 검색 엔진은 손에 꼽을 정도다. 거인들이 나타났기 때문이다. 

거인들의 등장과 땅울림 시작

첫 번째 거인은 다음이다. 지금은 카카오 그룹의 계열사가 되었지만, 당시 다음은 네이버와 함께 맞짱(?)을 뜨던 검색 포털 끝판왕이었다. 이미 1997년 한메일넷을 오픈한 이래 검색 서비스를 도입했고 카페, 뉴스 등의 서비스를 통합해 우리나라 종합 포털 사이트의 대명사가 되었다. 특히 카페 서비스는 온 국민의 동호회화를 부추겼다는 우스개 소리도 남길 정도로 호황이었고, 5-60대 어머님, 아버님들의 대표 온라인 모임터가 되고 했다. 봄만 되면 꽃 사진이 엄청나게 올라왔다는...

▲ 영화배우 김민희 씨가 출연한 다음 쇼핑 TV-CF

1998년 회원 수 100만 명을 넘긴 이래 엄청난 성장세를 보이며 블로그로 유명한 티스토리, 한미르와 통합된 파란을 병합하면서 사업 규모를 엄청나게 크게 확장했다. 하지만, 2002년 갑자기 '온라인 우표제'라는 메일 유료화 서비스로 전환하려다가 거센 역풍을 맞았고 메일 서비스 점유율도 급락해 쇠퇴하기 시작했다. 결국 2014년 카카오와 합병 후 다음이라는 이름은 서서히 사라져버렸다. 

드디어 천하통일의 패자가 나타났다. 바로 네이버의 등장이다. 초창기 네이버는 다음에 밀려 그저 그런 검색 엔진들 중 하나로 인지되었다. 별다른 특징이나 장점 없이 포털 사이트, 그 이상도 그 이하도 아니었다. 1997년 삼성 SDS 내부 사내 벤처 기업에서 출발해 1998년 자체 검색 엔진을 출시했는데, 구글보다 빠르다는 자체 마케팅 빼고는 조용한(?) 사이트였다. 

▲ CF의 여왕 전지현 씨가 출연한 네이버 지식in TV-CF. 지금봐도 심장이 뛴다!

그러다가 한줄기 빛을 만나 승천하니, 바로 지식in 서비스를 시작한 것이다. 2002년 10월 시작한 네이버 지식in 서비스는 부족한 검색 엔진의 성능을 회원들의 집단 지성으로 채워버리는 획기적인 아이디어로 엄청난 인기를 끌었다. 이 지식in 서비스의 대히트로 말미암아 회원 수가 급격하게 증가했고, 이를 바탕으로 네이버 카페, 블로그 서비스도 런칭하게 된다. 그야말로 한국 검색 엔진 시장에 땅울림이 일어난 것이다. 

반대급부로 네이버 안에서만 돌고 돌게 하는 폐쇄성이 더욱 짙어졌다는 지적도 있지만, 초히트 상품이라는 것은 부인할 수 없는 사실이다. 더불어 물들어오니 노 젓는 격으로 초인기 모델이었던 전지현 씨를 TV-CF에 출연시켜 네이버가 대한민국 포털 사이트 1위라는 쐐기를 박음으로써 치열했던 대한민국 검색 엔진의 춘추전국시대가 막을 내리게 되었다. 

흥망성쇠의 시간은 누구에게나 찾아온다 feat. AI

▲ 구글의 AI 기반 융합 검색 발표 영상

검색 엔진은 앞서 추억한 여러 시간을 지나오며 국내에서는 네이버, 해외에서는 구글이 평정했다고 봐도 과언이 아니다. 하지만 최근에는 너 나 할 것 없이 인공지능을 검색 엔진과 결합하는 시도를 계속하기 때문에 이런 강력한 검색 엔진의 세력 구도는 영원히 지속되지는 않을 것이다. 과거 흥망성쇠를 거듭하던 수많은 검색 엔진들이 그랬듯이 한순간에 와르르 무너질지도, 한순간에 대박 상품이 나올지도 모르기 때문이다. 아무쪼록 닷컴 버블 시절의 낭만과 추억이 담긴 검색 엔진 이야기는 여기서 마무리하겠다. 필자가 오랫동안 쓰던 Orgio.net이 갑자기 떠오른다. 

기획, 글, 편집 / 다나와 정도일 doil@cowave.kr

(c) 비교하고 잘 사는, 다나와 www.danawa.com