Google, Yahoo, Яндекс, Mail.ru, Rambler - как все начиналось!

Эксперты утверждают, что объем информации, передаваемой по каналам Интернет, удваивается каждые полгода. Этот поражающий воображение факт может объяснить, почему нам порой легче залезть в Интернет и найти интересующие сведения там, чем посмотреть лежащий на столе справочник, словарь или книгу на физическом носителе.

Сегодня мы воспринимаем системы поиска как данность и уже не задумываемся, что без них миллионы появляющихся в сети документов оказались бы кучей киберхлама и никогда не нашли бы своих адресатов.

А между тем, первый проект, направленный на решение проблемы организации доступа к информационным ресурсам сети появился не так давно, в апреле 1994 года. Именно тогда стартовал сайт Yahoo, который содержал каталоги ресурсов, ссылки на которые группировались согласно тематике. Сегодня такой способ поиска документов безнадежно устарел, так как даже самые современные каталоги, содержащие огромное количество ресурсов, представляют информацию лишь об очень малой части Глобальной сети.

Для сравнения - самый большой каталог Паутины DMOZ (или Open Directory Project) содержит информацию о 5 миллионах ресурсов, в то время как база поисковой системы Google состоит из более чем 8 миллиардов документов!

Если говорить о полноценных поисковых системах, то первым проектом стал WebCrawler, появившийся в 1994 году. Через год появились поисковые системы Lycos и AltaVista.

Сегодняшний лидер Google появился в 1997 году. Тогда же был анонсирован и российский лидер Yandex. В настоящее время существует огромное количество поисковых систем. Но в большинстве своем они используют базы и алгоритмы поиска трех основных Google, Yahoo и MSN Search.

Поговорим поподробнее о наиболее интересных игроках этого чудесного, даже можно сказать жизненно необходимого рынка.

Google - компания была основана в 1998 выпускниками Стэндфордского университета Сергеем Брином и Лари Пей джем, которые применили для ранжирования документов технологию PageRank. Суть технологии сводится к определению "авторитетности" конкретного документа на основе информации о документах, ссылающихся на него. То есть чем больше документов ссылается на данный документ и чем они авторитетнее, тем более авторитетным данный документ становится.

Количественное значение авторитетности документа учитывается при определении релевантности документа конкретному запросу. Наряду с этим Google применил для определения важности документа не только текст самого документа, но и текст ссылок на него. Эта технология позволила ему обеспечить выдачу более актуальных результатов, на фоне других поисковиков.

За счет этого Google стал лидировать в различных опросах по такому показателю, как удовлетворенность пользователей результатами поиска, несомненно являющимся самым важным показателем для поисковой системы. Это дало толчок к превращению кампании в того гиганта интернет-рынка, каковым она является сейчас.

Yahoo - является вторым по популярности в мире, и первым в истории поисковиком. Эта система была создана Дэвидом Фило и Джерри Яном в апреле 1994года.

Yahoo сочетает поиск по ключевым словам и поиск с помощью иерархического дерева разделов.

Нынешнее развитие Yahoo можно определить как движение в он-лайн, интерактивность. Например, они ввели одни из первых панель задач для браузера Firefox. Этот инструмент помогает пользоваться поиском Yahoo, не заходя на официальный сайт, а лишь используя функциональные кнопки панели.

Что касается русскоязычных поисковых систем, то их основное отличие от иностранных состоит в том, что они поддерживают русскую морфологию. На сегодняшний день на отечественном рынке существую около двух десятков поисковиков, но подавляющее большинство пользователей работает лишь с несколькими. Мы остановимся лишь на самых крупных.

Индекс - начал свою работу во второй половине 1997 года. Основными отличительными чертами поисковика на тот момент были проверка уникальности документов (исключение копий в разных кодировках), а также ключевые свойства поискового ядра Яндекс, а именно: учет морфологии русского языка (в том числе и поиск по точной словоформе), поиск с учетом расстояния (в том числе в пределах абзаца, точное словосочетание), и тщательно разработанный алгоритм оценки релевантности (соответствия ответа запросу), учитывающий не только количество слов запроса, найденных в тексте, но и "контрастность" слова (его относительную частоту для данного документа), расстояние между словами, и положение слова в документе.

Сегодня Индекс имеет внутри мощный поисковый робот, позволяющий производить поиск по самым различным критериям.

Интересно, что само слово Индекс придумал один из основных и старейших разработчиков поискового механизма. "Яndex" означает "Языковой index", или, если по-английски, "Yandex" - "Yet Another indexer". Хотя за 4 года публичного существования Яndex возникли и другие толкования. Например, если в слове "Index" перевести с английского первую букву ("I" - "Я"), получится "Яndex".

Поиск@Mail.ru - один из многочисленных проектов компании, который появился через некоторое время, после появления на свет портала Mail.Ru.

Сам портал Mail.ru занимает лидирующую позицию среди бесплатных почтовых сервисов, предоставляя своим пользователям почтовый ящик неограниченного размера с защитой от спама и вирусов, переводчиком, проверкой правописания, архивом для хранения фотографий и многое другое.

История создания этого популярного портала началась в 1998-м году, когда программисты, работающие в питерском офисе американской софтверной компании DataArt, создали новое ПО для почтового веб-сервера, которое в дальнейшем предполагалось продавать западным компаниям.

Чтобы протестировать сервис, его временно выложили в открытый доступ для российских пользователей, а сервис вдруг стал стремительно набирать популярность.

20 февраля 2001 года произошло слияние двух крупных игроков российского Интернет-рынка, компаний Port.ru и netBridge под брендом Port.ru.

В результате объединения родилась компания, которая сразу заняла лидирующие позиции среди российских Интернет - холдингов по доле рынка и охвату аудитории.

Рамблер - старейшая поисковая система российского Интернет, запущена в 1996 году.

На стартовом этапе содержала всего 100 тысяч документов. "Рамблер" не был первой отечественной поисковой системой, однако в первый год своего существования (когда весь русский веб с приемлемой степенью правдоподобия индексировался "Рамблером", "Апортом", "Русской поисковой машиной", а также шведской и калифорнийской AltaVista) вынес основной груз поисковых запросов.

Вторая версия "Рамблера" начала разрабатываться летом 2000 года. В нее были введены функции, давно уже имевшиеся в конкурирующих системах. Она учитывает координаты слов, обучена строгой и нечеткой морфологии, связывает поиск с каталогом, в качестве которого используется Top100 (http://top100.rambler.ru/), группирует результаты поиска по сайтам, ищет по числам.

Что касается современного рейтинга поисковых систем, то согласно исследованию ComScore, проведенного в июле 2009 года, во всем мире было сделано более 113 млрд поисковых запросов. Для сравнения, это на 41% больше по сравнению с прошлым годом.

Доля сайтов Google составила 76,7 млрд из них. То есть компания на данный момент занимает 67,5% мирового рынка.

На втором месте по популярности среди глобальных поисковиков сайты Yahoo - 8,9 млрд запросов или 7,8% рынка, рост - 2%.

На третьем месте оказался китайский поисковик Baidu с 8 млрд поисковых запросов и долей в 7%.

Российский "Индекс" в этом мировом рейтинге занимает восьмую позицию. Но если говорить про нашу страну, то здесь он лидирует и занимает 57,1% рынка.

Третье после Google место принадлежит Поиск@Mail.ru - 10,2% рынка.

Далее идет Рамблер.

Совокупная доля переходов, раздаваемых этими системами на сайты Рунета, в первой половине 2009 года составляла 96,5%.