Кто и когда разработал первую поисковую систему. Какими были первые поисковые системы

Всем привет! Сегодня будет статья про поисковые системы мира, какие вообще существуют, когда появились, что рулит конкретно в России, а что на всём земном шаре. Статья получилась огромная, поэтому присаживайтесь поудобнее, желательно заранее приготовив термос с чаем 🙂

Для того чтобы стать специалистом в любом деле, недостаточно лайфхаков, какими бы полезными они ни были. Необходимо основательно разбираться в вопросе и постоянно расширять кругозор.

Думали ли вы о том, как появилось то, что мы используем каждый день? Какие есть поисковые системы помимо Google и Яндекса? И почему все сео-студии и люди выбирают именно последние? Да, но не нашли ответы? Они в этой статье.

Очень давно, когда в Интернете все только начиналось…

Для того чтобы хоть немного навести порядок были разработаны каталоги Yahoo, DMOZ и т.д. К слову, некоторые из них не канули в лету до сих пор. Каталог – это что-то вроде библиотеки. В нем можно не только сохранять, но и разделять на группы ссылки на сайты.

Всемирная Сеть разрасталась с невероятной скоростью и каталоги перестали отвечать потребностям посетителей. Тогда программисты приступили к работе над поиском внутри каталогов, а потом и над первой поисковой системой.

Wandex – поисковая система-первопроходец

Поисковой системой, ставшей первопроходцем, является Wandex (нет, это не «отец» Яндекса, между ними нет никаких «родственных» связей). Она, как и все остальные поисковики, была настолько далека от идеала, что выдавала буквально все подряд, а не то, что больше всего подходит под запрос. Никаких алгоритмов ранжирования не было.

Первой системой, которая была создана для поиска информации в интернете, стала Wandex, ее уже не существует. Она была создана World Wide Web Wanderer – ботом на языке Perl, разработанным Мэтью Грэем из Массачусетского технологического института в 1993 году. Он также участвовал в создании Apache, разработке сайта MIT и других проектов. Сегодня Мэтью Грей является сотрудником компании Гугл.

В 1993 году во всем интернете было лишь 623 сайта, поэтому работы у Вандекса было поменьше, чем у современных поисковых систем. Более того, благодаря таким скромным меркам, для создания индексов и отображении результатов не нужны были мощные сервера с многоступенчатой кластеризацией, сложная работа алгоритмов поиска и способы по их оптимизации.

Wandex и другие первые сервисы обладали несовершенной системой поиска. При запросе слова они отображали не самые актуальные ссылки, а все страницы, их данные, без анализа и ранжирования. Поэтому некоторое время настоящими конкурентами поисковых систем были каталоги страниц – веб-площадки с вручную отобранными категориями ссылок на веб-источники.

Восстановление Вандекса

31 декабря 2011 года стало известно о возрождении этой системы. 1 января 2012 года поисковый бот World Wide Web Wanderer был зарегистрирован владельцами многих сайтов, что стало причиной для дискуссий. Сегодня на главной странице находится поисковая строка с надписью Wandex.

Буква Х изображена в виде перекрещенных линий, одна из которых имеет форму лупы – часто применяемый символ в поисковике.

Самые популярные поисковики Интернете в мире и России

Самые популярные поисковики может назвать даже школьник 1-го класса. Это Гугл и Яндекс. Можно дни и ночи напролет спорить о том, какой из них лучше. Но зачем? Они разные, и в какой из них заходить, зависит от ваших целей. Для вас я подготовил большой список из 16 поисковых систем, это практически все поисковики, которые есть на данный момент или существовали ранее.

Начнём с поисковых систем на русском языке и самых популярных в России, а затем перейдём к мировым.

Яндекс

Если верить тому, что пишут в LiveInternet, то именно Яндексу отдает предпочтение большая часть россиян. Впрочем, разница между ним и Гуглом составляет всего лишь один процент.

Среди тех, кто занимается созданием и SEO-продвижением сайтов, бытует мнение, что Яндекс заточен под коммерческие запросы, что в нем их в несколько раз больше, чем у конкурента. На мой взгляд, это очередной домысел. Как показывает практика, региональность определяет размер и структуру целевой аудитории.

История появления Яндекса началась в конце 1980-х – с создания поисковых технологий в компании Аркадия, которая потом вошла в группу CompTek. Создатели придумали несколько поисковых программ – Международный классификатор изобретений и поиск по Библии, учитывающий морфологию русского языка. Метод поиска получил название Яndex.

Первая активная версия поискового приложения под названием Yandex возникла в 1993 году, в 1995 году компьютеры компании-создатели поисковика были подсоединены к интернету, а в 1996 году стала велись работы по доработке методов поиска.

Официальным днем рождения поисковика Яндекс.ру является 23 сентября 1997 года. В этот день система была представлена на выставке Softool в Москве. Яндекс 1997 года учитывал морфологию русского языка, расстояние между словами и умел распределять документы на основе их релевантности заданному запросу.

В 1998 году на портале впервые возникла контекстная реклама – реклама, которая соответствует запросу потенциального пользователя. При таком методе показа рекламу видит только целевая аудитория. Контекстная реклама стала одним из важных ответов на вопросы пользователей, а в дальнейшем – главной бизнес-моделью компании Яндекс.

Компания Яндекс была основана в 2000 году. Ее учредителями стали акционеры КомпТек. Организация ru-Net Holdings вложила в Яндекс более 5 миллионов долларов, ее прибыль составила 35%. Среди акционеров были менеджеры Яндекса и ее главные разработчики поисковой системы.

Генеральным директором компании стал Аркадий Волож, а директором – Илья Сегалович – он же отвечал за внедрение и разработку технологий. Команда Яндекса состояла из 25 человек, а вся информация находилась на одном сервере.

В 2013 году российский поисковик Яндекс вышел на четвертое место в мире по количеству обрабатываемых запросов, обогнав Микрософт и уступив лидирующие места Гугл, Яху и Байду. Доход поиска Яндекса на отечественном рынке составляет 61,6%. Количество международной аудитории портала составляет 93,1 миллионов человек. Чистый доход компании за 2013 год вырос на 80%.

Google

Гугл правит балом во всех странах мира, кроме России. Он пришел к нам относительно недавно, в 2004 году, когда Яндекс уже уверенно стоял на ногах.

Google распространился настолько, что слово «загуглить» стало нарицательным, им обозначают поиск чего-то в Интернете. Забавно, но когда я прошу маму что-то «загуглить», она все равно открывает Яндекс. Может быть, не догадывается, какие есть другие поисковые системы.

Компания Гугл впервые появилась в качестве развития научного проекта Ларри Пейджа и Сергея Брина. В 1996 году студенты Стэнфорда трудились над проектом цифровой библиотеки (SDLP). Он был целью Разработки новых технологий для общей, интегрированной и универсальной цифровой библиотеки. Финансирование осуществлялось за счет Национального научного фонда.

Чтобы найти тему для диссертации Пейдж рассматривал среди другой информации изучение математических свойств Интернета, представляя структуру ссылок в виде большого графа. Его научный руководитель, Терри Виноград, посоветовал ему выбрать эту идею (позже Пейдж отметил, что это был самый лучший совет, который он когда-либо получал), и он полностью погрузился в проблему выяснения, какие сайты ссылаются на эту страницу, рассматривая количество и характер обратных ссылок.

Скоро к нему присоединился аспирант Стэнфорда Сергей Брин, который был лучшим другом Пейджа. Вместе они создали алгоритм PageRank. После определения результатов BackRub, состоящих из списка URL, отсортированного по количеству обратных ссылок на этот URL, они поняли, что поисковик, созданный на PageRank, принесет им высокие результаты.

Такую технологию ранжирования страницы и ее рейтинга уже изучил Робин Ли, создавший в 1996 году маленькую поисковую систему RankDex. Данная технология была запатентована и применялась позже после основания Baidu в Китае.

Первое инвестирование в Гугл было зафиксировано в августе 1998 года в сумме 100 тысяч долларов от Энди Бехтольштейма, одного из разработчиков Sun Microsystems. Официально компания была зарегистрирована 4 сентября 1998 года в гараже друга в Менло-Парк, штат Калифорния. Имя Гугл возникло от слова «гугол», обозначающего цифру 1 и сто нолей. В конце 1998 года Гугл проиндексировал более 60 миллионов страниц.

На главной странице по-прежнему была отметка БЕТА, но поисковая система уже получала положительные отклики: показатели поиска Google были выше, чем у других систем, высокие технологические инновации, чем у перегруженных веб-порталов.

Поисковик Гугл привлекает огромное количество интернет-пользователей своим минимализмом и доступным интерфейсом. В 2000 году Гугл стала продавать рекламу, связанную с ключевыми запросами поиска. Реклама состояла из текста, поэтому не нагружала оформление страницы и не снижала скорость ее загрузки.

Ключевые запросы реализовывались на базе сочетания стоимости предложения и числа переходов, стоимость начиналась от 0,05$ за переход. Данная модель реализации рекламы по ключевикам была впервые предложена goto.com. В отличие от своих конкурентов, Гугл удалось выйти на новый рынок Интернета.

Те, кто находится в тени

Если вы, как и моя мама, не знаете, какие есть другие поисковые системы, то смотрите. Их много!

Mail

Доля Mail.ru небольшая, но она постепенно растет. В первую очередь, за счет почты, Одноклассников и других сервисов от этого поисковика.

История Мейл.ру началась в 1998 году, когда группа программистов из Питера разработала почтовый сервис mail.ru и отправила в интернет для тестирования. В мае 2005 года была создана компания mail.ru Group. Она продвигает общую интегрированную площадку коммуникационных и развлекательных интернет-сервисов.

Компания владеет лидирующим почтовым сервисом, одним из самых посещаемых площадок в Рунете, популярными социальными сетями – Вконтакте и Одноклассники, крупными играми Warface, Armored Warfare, Skyforge и Perfect World, сервисом maps.me – офлайн-картами и навигацией для мобильных гаджетов на базе OpenStreetMap, сервисом доставки еды Delivery Club, торговым местом китайской продукции Pandao.

Rambler

Rambler – одна из самых старых поисковых систем. Она могла стать самой популярной в Рунете, но не сложилось. Сейчас этот поисковик и не поисковик вообщем-то, а несколько сервисов, которые сделаны на движке Yandex.

Посещаемости Rambler могут позавидовать новички – она превышает один миллион человек в день.

У Rambler существует облегченная версия, называется Rambler Lite. В ней все тоже самое, только нет надоедливой рекламы, новостей и погоды.

В 1996 году был впервые создан поисковый сервер Рамблер. Поэтому годом открытия поисковой системы является эта дата. 8 октября, после успешного прохождения тестирования, Рамблер стал функционировать в качестве поисковой системы.

Данное название у поисковика возникло не случайно. При переводе с английского означает бродяга, что точно выявляет метод работы поисковика. Он безгранично бродит по интернету и самостоятельно собирает данные о всех найденных документах.

В 1997 году впервые появился рейтинг-классификатор Rambler’s Top100, который позволяет на базе объективной информации делать оценку популярности веб-ресурса. Появление такого счетчика способствовало оживлению среди веб-мастеров, которые стали уделять большее внимание качеству разрабатываемых сайтов.

Несмотря на то, что Рамблер считается самой старой поисковой машиной Интернета, он постоянно модернизируется. Новые версии поисковой машины позволяют намного поднять скорость поиска. Обновление поискового индекса осуществляется каждый день, что позволяет находить актуальные новости.

Рамблер постоянно модернизируется и остается одним из самых востребованных поисковиков. Пока пользователи интернета будут нуждаться в поиске нужной информации, данная система будет разгуливать по интернету и собирать важную информацию.

В 2011 году Рамблер полностью отказался от продвижения и поддержки собственного поиска. Он заключился соглашение с Яндексом. С этого момента он работает совместно с Яндексом и больше не является самостоятельной поисковой машиной.

В настоящее время непросто удивить, но этой поисковой системе удалось. Nigma умеет решать задачи по математике и химии, а также предлагает поиск по музыке, играм, книгам и торрентам.

Нигма является интеллектуальной поисковой системой, разработанной российскими разработчиками Владимиром Чернышевым и Виктором Лавроненко. Все началось с их встречи в 2004 году, а потом началось плодотворное сотрудничество по созданию качественного нового проекта для Рунета.

Несмотря на то, что сервис применяет при выдаче источники самых популярных поисковиков, у нее есть очень много интересных задумок.

Как возник поиск от Нигма?

Эта поисковая система осуществляет поиск не только по собственному индексу, но и по индексам своих коллег – Яндекс, Яху, Рамблер, Бинг. Что касается Гугл, то в программе создания алгоритмов для Нигмы приняла участие в 2007 году профессор Стэндфордского университета Гектор Гарсия-Молина, который в свое время был научным руководителем основателей этого самого востребованного на сегодняшний день поисковика.

По состоянию на февраль 2009 года у Nigma в сумме индексов с привлекаемыми поисковыми системами было более 7 миллиардов документов. Это первая кластеризующая система Рунета, но давайте вместе разбираться.

Когда вы указываете запрос в поисковике, Нигма формирует перечень документов, разделяя его на кластеры. Каждое из их множество может быть отклонено, тогда поиск будет выполняться с высокой релевантностью. Например, запросы, полученные из интернет-магазинов, создают отдельный кластер – если вас не интересуют такие документы, то просто исключите их из результатов.

Возможности сервиса Nigma: математика, химия, музыка

Нигма.ру обладает своими уникальными характеристиками, например, применяет умные поисковые подсказки. Чтобы сориентироваться, поисковик выдает их еще на момент ввода самого запроса. Их условно можно разделить на три группы: короткие, точные запросы и энциклопедическая справка.

Нигма помогает быстро найти торрент-трекеры без регистрации и рекламных баннеров. Просто укажите название фильма и слово торрент для этого. Можно вместо этого указать скачать фильм с указанием его названия и также получить ссылки на источники torrent. Это очень интересная специализация, с помощью которой можно не потеряться в мире кинематографа.

Нигма еще имеет характернее особенности. Но более детально рассмотрим ее специализацию на решении разных задач по математике, химии, физике – это универсальный помощник для школьников.

Нигма-математика

Это сервис, с помощью которого можно в режиме онлайн решать разные математические задачи и воспроизводить вычисления – это упрощение выражений и даже решение систем уравнений. Для этого необходимо указать их в качестве простого запроса в поисковую строку.

Система Нигмы также распознает огромное количество различных математических и физических констант, единиц измерения – получается результат действий с разными величинами. Еще одной возможностью являются решения уравнений с математическими выражениями, константы можно указывать как в сокращенном, так и в полном виде.

Нигма-химия

Задачи по химии не каждый может решить, но и проверять нужно. Лучше использовать Нигму, чем списывать ответы из решебников. В любом случае, Нигма-химия является классным сервисом для самообразования в этом направлении. В соответствующей категории можно найти ознакомительный ролик, чтобы понять, как работать с системой.

Вы можете искать отдельные химические вещества, указывать или краткими обозначениями или просто название буквами. Нигма контролирует процесс – к примеру, если по ошибке указать формулу реакции, которой вообще не существует, система обязательно об этом оповестит.

Нигма-музыка

Поисковая система обладает также мультимедийным разделом, посвященным поиску музыки и ее прослушиванию онлайн. Можно искать по названию композиции, исполнителю или альбому. Перед тем как скачать музыку, система предлагает ее прослушать.

Дополнительные возможности Нигмы

Это был далеко не весь список особенностей поисковой системы Нигма, некоторые категории представляют особый интерес:

Официальные веб-ресурсы. нигма.рф увеличивает приоритетность в результатах первоисточников данных. То есть, если вы хотите что-то узнать о человеке, который имеет свой сайт, или о компании, то такая информация отобразится в первых рядах.
Англоподсказка. Этот сервис проверяет совместимость и частоту слов, используемых в английских выражениях. Вы указываете в поисковую строку любое выражение, если оно будет неправильным, система предложит правильные варианты.
Поиск по библиотекам. Для этого у сервиса есть особая категория Книги. Вы можете найти любую информацию по авторам, текстам произведений.
Расшифровка сокращений. Умная система распознает не только русскоязычные, но и зарубежные аббревиатуры. Просто укажите в поисковике то, что вас интересует, кроме результатов слева, вы увидите варианты.
Поиск по таблицам. Автоматически можно получать сведения об объектах в форме таблиц. Поисковик был первым среди конкурентов, кто предложил такую функцию.
Контроль спама. Этот сервис предлагает пользователям возможность помогать в развитии поисковой системы. Просто используя поисковую строку и просматривая сайты, вы можете оповестить модератора о том, что какой-то из них ненадежный.

Нигма является интересным поисковиком со своей индивидуальностью, несмотря на применение индексов других поисковых машин. Здесь очень много разных полезных функций, главное, все отсортировано и конкретно.

Последняя поисковая система в списке. И неспроста. Ни в коем случае не пользуйтесь ей. Не верите мне, почитайте отзывы. Многим приходилось вытаскивать как клеща этого поисковика из своего компьютера. Увы, но это так. Все, что интересует людей относительно Webalta – способы удаления.

Вебальта является российской поисковой системой. Она продвигается с помощью технологий, позволяющих без ведома и согласия пользователей устанавливать сайт start.webalta.ru в качестве начальной страницы в браузере на их компьютерах, а также в качестве поисковой системы по умолчанию.

Также к командам запуска браузеров в свойствах соответствующих ярлыков добавляется дополнительный параметр запуска сайта Вебальта. Компания подозревается в связях с киберпреступностью.

Сначала Вебальта была амбициозным проектом, который стремительно развивался благодаря компании энтузиастов без вложений в него денег и без привлечения сторонних инвестиций. Планы развития были внушительными и состояли из реальной конкуренции с Гуглом и Яндексом, которые к тому времени прочно встали на ноги.

Естественно, это было утопией, которая окончилась продажей проекта тем, кто сегодня сделал из него откровенный ГС, который привлекает трафик уже не кошерными способами, чтобы получать доход от тизеров от МаркетГида и другой рекламы. Сам по себе такой метод дохода вполне имеет право на существование, но он не к лицу сайту, который позиционирует себя как поисковая система.

Гугл, например, по-прежнему придерживается того принципа, что основная страница как Google.com, так и google.ru не должна иметь ничего, кроме строки для ввода запроса. Его главный и более успешный конкурент на рынке поиска рунета, наоборот, применяет основную страницу по максимуму – и для рекламы, и для потребностей юзеров.

Главную страницу Яндекса можно настроить, добавить виджеты и поменять темы. Но до тезисов никто из уважающих себя поисковых систем не опускался, кроме Вебальта. Поэтому на этапе запуска проекта у Вебальты даже была своя система контекстной рекламы под говорящим названием Оптимист.

Но чтобы поисковая система, запущенная в середине 2000 года, смогла конкурировать с теми, кто вышел на этот рынок на 10 лет раньше и прочно в нем обосновался, должно было произойти чудо. Даже у тех, кто начал в середине девяностых наравне с лидерами, не получилось удержаться в лидирующих позициях – поисковой системы Апорт нет вовсе, а поиск Рамблер полностью перешел на иждивение к Яндексу.

Даже такой монстр, как Яху, больше не считается поисковой системой, а применяет в этих целях возможности Бинга.

Разработчик Вебальты как-то писал, что у них была возможность получить солидный инвестиционный пакет, но его отдали другому перспективному стартапу из этой же ниши – умной поисковой системе Нигма, которая до сих пор пользуется спросом, пусть даже с таким маленьким трафиком, как и у Вебальта, зато она не опускалась до вирусного внедрения в браузеры юзеров и не зарабатывает на тизерах.

Перед тем как Вебальта была продана, родились слухи о том, что под нее был создан один из самых внушительных в то время дата-центров, который в дальнейшем был отдан под создание абузоустойчивого хостинга.

С 2008 по 2010 годы сайт этой поисковой системы частично вообще не выполнял поиск, а с 2010 года появилась вирусная эпопея, которая хоть и помогла поднять трафик, но полностью похоронила репутацию Вебальта.

Bing

Bing сменил не одно, не два и даже не три названия. Но это не важно, так как по качеству он приближен к Google.

1 июня корпорация Microsoft впервые создала свою поисковую машину и назвала ее Bing. Злопыхатели ехидно стали потирать руки, наслаждаясь очередным провалом, но данная система пошла в гору. Какое-то время поисковик долго соперничал с Yahoo. Но Яндекс и Гугл быстро его затмили по причине того, что движок Kumo плохо индексирует сайты на русском языке.

Сегодня Бинг является поиском по умолчанию в интернет-браузерах Internet Explorer и Mozilla Firefox, а также на мобильных гаджетах с операционной системой Windows. Это вторая по популярности в мире поисковая система. Несмотря на слабую активность пользователей в России и странах СНГ, часть трафика по миру составляет более 20% (главными пользователями являются жители Америки, Китая и Европы).

Если говорить о востребованности среди русскоязычной аудитории, то здесь поисковая система Бинг не пользуется большим успехом. Часть трафика в Рунете по статистике за сентябрь 2018 года составляет 0,28%, что очень мало. Пользователи больше уделяют внимания Яндексу и Гуглу.

Это связано с тем, что в России Бинг официально не работает. Для пользователей Рунета предусмотрена только русскоязычная версия сайта, которая выдает результаты, релевантные англоязычным ресурсам. Именно поэтому в российских смартфонах с ОС Windows применяется Яндекс.

Функции Bing

Поисковик Бинг имеет ряд уникальных функций, что выделяет его на фоне остальных поисковых машин. Из-за постоянного соперничества с Гугл система постоянно обновляется и предоставляет новые возможности, среди которых можно выделить следующее:

Каждый пользователь может сам выбрать формат отображения сниппетов в выдаче. Например, полное или сокращенное описание и так далее.
Возможность выбрать число отображаемых веб-ресурсов на одной странице выдачи, а также вариант запуска новых сайтов.
Взаимодействие с сервисами Майкрософт Офис. Например, встроенный поиск значений слов в Майкрософт Ворд.
Журнал поиска, в котором указываются все вводимые с этого браузера запросы.
Возможность сохранения мест на карте, картинок, видео и новостей в Мои коллекции.

Кроме вышеперечисленных, поисковая система Бинг имеет базовые, присущие и другим ПС, возможности и инструменты.

Сервис по размещению контекстной рекламы – Bing Ads

Конечно, среди вебмастеров из России этот сервис не является настолько востребованным, как тот же Яндекс.Директ. Применение Bing Ads разумно только в тех ситуациях, когда продвижение проекта требуется за пределами Рунета.

В связи с наименьшей популярностью поисковика Бинг конкуренции здесь мало, при этом качество трафика не уступает даже Гугл, а платежеспособность аудитории находится на том же уровне. Продвижение интернет-проектов в Бинг не требует конкретных знаний и умений.

Некоторые факторы ранжировки отличаются от тех, что подходят для Гугл, а иногда и вовсе считаются полной противоположностью. Иногда то, что благоприятно сказывается на продвижении сайта в одной поисковой машине, может нанести вред в другой.

Например, если в Бинге точное вхождение ключей в заголовках, подзаголовках и самом тексте приветствуется, то в Гугле это может поспособствовать попаданию под фильтры.

Разные виды выдачи

Как и другие поисковые системы, Бинг умеет находить не только веб-ресурсы с релевантным контентом, но и картинки, новости, видеозаписи. Здесь все привычно для пользователей Гугл и Яндекса. Выбрать необходимый раздел можно над результатами выдачи.

Карты от Бинг

Этот инструмент позволяет найти определенные места на карте, компании, рестораны, медицинские центры и так далее. Чтобы использовать его, достаточно кликнуть по ссылке https://www.bing.com/maps/ и указать в поисковую строку нужный адрес или название компании.

Просматривать карты можно в двух режимах: дорогах и гибридный вид. Также можно включить полноэкранный режим. Кнопка Маршруты позволяет продолжить следование от пункта А к пункту Б, покажет примерное время и длину в километрах. Найденный путь можно распечатать. Если вы авторизованы в поиске Бинг, то вы сможете сохранять места в Мои коллекции.

Продвигаю информационные и коммерческие сайты с 2013 года.

Переводчик на платформе Microsoft Translator

Это еще один полезный инструмент, с помощью которого можно получить достоверный перевод с возможностью голосования за тот или другой результат. Сервис обладает более 60 языками в своем распоряжении. Переводчик от поисковой системы Бинг также подразумевает приложение для мобильных устройств, инструменты для бизнеса и обучения.

Поисковая система Bing от компании Майкрософт заслуживает внимания пользователей. Она имеет ряд потрясающих возможностей и преимуществ, а также огромный потенциал. Конечно, опередить такого гиганта, как Гугл, сложно, но за последнее время часть трафика, которая приходится на Бинг, заметно возросла, а значит, разработчики движутся в верном направлении.

Yahoo

Официально Yahoo не относится к поисковым системам. Дело в том, что согласно сделке, заключенной между Yahoo и Бингом, на всех площадках Яху теперь движок Bing.

Если верить популярным веб-рейтингам, то Yahoo является американским старичком Интернета с ежемесячной аудиторией более 700 млн пользователей. В Америке любовь к поисковой системе Яху у американцев выше, чем к Гугл. Впервые сервис был создан Девидом Файло – студента электротехнического профиля.

В 1994 году разработчики сделали каталог со ссылками на другие веб-ресурсы. Так как тогда было крайне трудно бати сайты во всемирной паутине, каталог за короткое время стал популярным, и уже к осени 1994 года им пользовались более 100 тысяч пользователей, и он обладал более одним миллионом запросов.

История Yahoo

В 1995 году была создана корпорация Yahoo, а спустя год были открыты филиалы в таких странах, как Германия, Италия, Швеция, Китай, Индия, Япония и Канада. Затем был интернет-бум, и в это время поисковая система отлично зарабатывала на рекламе.

К тому времени появились крупные поисковые машины Lycos, MSN, Excite и Yahoo. Они развивались и росли стремительно. И чтобы больше привлечь и удержать пользователей на веб-ресурсах, поисковики создавали все больше сервисов:

«Yahoo! Mail». Среди достоинств почты от Яху нужно выделить комфортный функционал, фильтрацию спама, применение технологии AJAX для русскоязычного интерфейса, большой объем почтового ящика (до 1гб), возможность использования RSS и синхронизацию с разными веб-приложениями. Минусами этого сервиса являются большое количество рекламы, невозможность применять теги для сортировки сообщений, а также некоторые недоработки категорий Календарь и Блокнот.
«Yahoo! Games». В основе этого раздела легли разработки com, приобретенные в самом начале деятельности компании. Сегодня на этом сервисе можно найти разные игры. Для многих игр доступны не только платная версия, но и бесплатная.
«Yahoo! Groups». Это самая популярная социальная сеть, которая объединяет людей по интересам. Желающие найти брата по интересам могут присоединиться к имеющимся группам или создать новую. Сервис очень удобный и информативный. Единственное, что может остановить в поисках коллег по интересам российского пользователя – отсутствие русскоязычной версии веб-ресурса.

Вообще, нужно отметить слишком урезанные функции русскоязычного Yahoo. Среди всего многообразия функций, которые доступны на международном портале, Yahho! По-русски имеет только почту, месенджер, новости и каталог сайтов.

Вместе с тем, англоязычные пользователи могут получить ответы на любые вопросы, найти работу, проверить погоду на ближайшие дни, ознакомиться с телевизионными программами, финансовыми новостями, освоить новые возможности в проекте Yahoo! Small Business (хостинг, доменные имена, конструктор сайтов и другое).

Таким образом, хотя Yahoo! является одной из самых старых международных поисковых систем, вполне вероятно, что именно из-за отсутствия русскоязычной версии портала, в апреле 2009 года в Рунете этот поисковик оказался только на 13-ом месте.

Особенности продвижения в Yahoo

Поисковое продвижение сайта в Яху отличается от продвижения в Гугл или Бинг. Для того чтобы сайт лучше ранжировался в Яху, нужно его добавить в каталог поисковой машины. Добавление платное и оплачивается каждый год. Также есть нюансы при работе над ссылками и разбавлениями текстов ссылками для поисковой системы Яху.

Но на практике показано, если сайт находится в топе в Гугл, то и в Яху он будет занимать первую десятку. Те, кто активно пользуется этой поисковой системой, получают значительные преимущества в сравнении с остальными оптимизаторами. Yahoo имеет следующие особенности:

Постоянное доверие к сайтам. Если однажды сайт вышел в лидирующие позиции по выдаче запросов, то он будет оставаться на вершине постоянно. Если однажды удалось продвинуть сайт, то длительное нахождение в ТОПе вам гарантировано. Иногда даже неправильные действия владельцев веб-ресурсов не снижают рейтинг сайта. Для старичков Яху – это благоприятный фактор, а что делать новичкам? Нужно постоянно наполнять сайты новым контентом, тем самым, завоевывая доверие поисковой машины. Если у вас это получится, то продвинуть старичка с неинтересным или неактуальным контентом можно.
Ключевые слова. Все знают, что поисковая оптимизация требует от владельцев сайтов указывать ключевые запросы и слова в контент. Яху очень требовательно относится к ключевым фразам, а, соответственно, повысить шанс попадания в ТОП можно при грамотном создании ключевых слов и их количестве.
Ссылки. Яху не требует указывать ссылки тематической направленности. Главным для Yahoo является не качество ссылок, а их количество. Поэтому можно в любом месте рекламировать свой сайт, указывая ссылки на него.
Долгая индексация. Особым отличием Yahoo считается долгая индексация сайтов. Данный процесс занимает очень много времени, так как система полностью проверяет ваш сайт. Поэтому нужно как можно чаще делать обновления материалов старых страниц. Это даст поисковой системе явные причины повысить ваш сайт в ТОПе.

Так как продвижение сайта только в Яху для русскоязычного пространства неприемлемо, нужно выбирать золотую середину. Не нужно указывать ссылки только нетематического характера с расчетом на Яху, забывая о Яндекс или Гугл.

Из-за таких действий такие поисковые системы могут заблокировать ваш сайт для просмотра по своим запросам. Поэтому нужно уделить особое внимание качеству созданных ссылок, а также тематической направленности. Это даст вашему сайту получить высокие позиции в Яху, но и не даст утратить эти позиции в других поисковых машинах.

Поисковая система Yahoo является крупной поисковой системой, которая занимает приличную долю на поисковом рынке, и дает хороший трафик на продвигаемые веб-ресурсы, а также считается лидером поискового рынка Японии.

При продвижении сайта в англоязычном сегменте и других регионах нужно помнить, что Yahoo дает потенциальных посетителей.

Серверы DuckDuckGo находятся на территории США. Особенность этого поисковика в том, что у него открытый исходный код. Гарантируется приватность и конфиденциальность всей поступающей информации: в базе данных не отражается ничего о пользователе, истории поиска нет, файлы cookie задействуются по минимуму.

Таким образом, преимущество DuckDuckGo в том, что он формирует объективную, а не персонализированную выдачу, не показывает тематические рекламные объявления. Кроме того, DuckDuckGo будет актуален, если вам нужно найти что-то на зарубежных интернет-ресурсах. Дело в том, что Гугл и Яндекс ориентированы на Рунет, даже в том случае, если ключевое слово не на русском языке.

Особенности поисковой системы DuckDuckGo

Эта система имеет очень интересные фишки, а не просто копирует возможности лидеров. Давайте рассмотрим эти особенности. Официальный сайт duckduckgo.com отмечает следующие преимущества:

Улучшенный механизм поиска (в том числе, по изображениям, видео и местам) с сохранением конфиденциальности.
Наличие прямых ответов на ваши запросы в результатах выдачи.
Настройка внешнего вида.
Возможность прямого поиска в других сервисах (Фейсбук, Амазон, Википедия).
Легкость применения и установки DuckDuckGo.
История появления DuckDuckGo

Главная особенность поисковой системы является сохранение приватности данных о пользователе. То есть сервис не следит и не запоминает вашу активность, историю и другие данные. Такой принцип позволил привлечь к себе определенную аудиторию, а после выступления Сноудена и принятия закона в Америке по сбору информации о пользователях, намного ее приумножил.

По данным из Википедии после таких заявлений число пользователей системы возросло в два раза и составило 3 млн. запросов в сутки. На сайте DuckDuckGo в категории О проекте представлены самые интересные факты истории сервиса с момента ее открытия в 2008 году.

Например, в 2011 году компания разместила рекламную доску «Google tracks you. We don’t» на заднем дворе. В это время появился первый официальный работник, и был осуществлен переезд из подвала в просторный офис.

В феврале 2012 года было получено 1 млн запросов в день, после чего показатель стремительно вырос – 2,3,4,5 млн и, наконец-то, 10 млн запросов в сутки летом 2015 года. Поисковая система DuckDuckGo стала доступна в Safari и Firefox.

Отсутствие фильтров и результаты выдачи

Создатели проекта считают, что одним из главных минусов современных поисковых систем является предоставление пользователям результатов, которые по мнению этих систем подходят пользователям лучше всего.

Для этого нужно учесть различные предпочтения пользователя, его историю просмотров и целый перечень других факторов. Почему какой-то другой алгоритм должен решать то, что именно вы хотите найти? Поисковая система DuckDuckGo позволяет избавиться от этого ограничения и просто получить ответ на любой свой запрос.

Мы не знаем, какой был сервис в самом начале своего существования, но сегодня у юзеров есть возможность выбрать региона для учета местоположения. Геопривязка имеет добровольный характер.

Что касается результатов в выдаче, то картина немного специфичная:

ТОП по запросу ресторан с включенным регионом Украина имеет почти половину ссылок на заведения Москвы и Питера. Причем даже с включенным украинским языком для поиска, который влияет только на цитату из Википедии.
Смущает отметка в нижнем правом углу «в сотрудничестве с Бинг». Такой ответ можно увидеть по запросу «блог о вордпресс» – там было указано «в сотрудничестве с Яндекс». Выходит, что применяются результаты выдачи из других поисковых систем? Англоязычные запросы для различных регионов давали более привлекательные результаты. Вероятно, с Рунетом сервис полноценно не функционирует.

Вообще, персонализация выдачи – спорный момент. Позицию создателей поисковой системы DuckDuckGo можно понять, в ней есть смысл. Но если указать тот же запрос ресторан в Гугл, то он сразу показывает карту и места поблизости.

Комфортно или нет – риторический вопрос. Если человек ищет заведение рядом или в своем городе, то это намного облегчает работу. С другой стороны, для уточнения места всегда можно добавить фразу в запрос.

Мгновенные ответы

Мгновенные ответы, или Instant Answers – еще одна интересная фишка данной поисковой системы. На сайте duckduckgo.com сказано, что главная цель сервиса в длительной перспективе – предоставление юзеру определенных ответов на его запросы, а не набор ссылок.

Поэтому для некоторых групп выдачи могут применяться специальные источники. К примеру, в англоязычном сегменте сети рестораны комфортнее искать через Yelp, музыку – в SoundCloud, погоду – на forecast.io. Чем-то напоминает базу знаний Knowledge Graph от Goggle, который отображает максимальные данные на странице запроса. Но по большей части он применяет свои мощности, тогда как поиск DuckDuckGo рассчитывает на сторонние сервисы.

В списке мгновенных ответов можно найти необычные варианты, к примеру, трекинг посылок FedEx, функция декодирования base64, возможность подсчета количества символов в строке, выявление IP адреса и расширения файла. Короче говоря, сервис duckduckgo com – так себе инструмент для получения ответов на все случаи жизни.

Поиск на сторонних сайтах

Поисковая система DuckDuckGo позволяет напрямую найти данные во многих других сайтов: Амазон, Википедия. После ввода ключевой фразы вас перенаправят на соответствующий сервис. Сегодня осуществляется более 7700 различных запросов. Их можно найти здесь.

Для комфорта пользователей они отсортированы по разделам: развлечения, новости, мультимедия, сервисы, шопинг, техника, переводы. Существует форма поиска, с помощью которой можно моментально найти подходящий запрос.

Кстати, для Яндекса предусмотрено 16 различных функций (от карт до переводов). Все запросы и по формату начинаются с восклицательного знака. Самые популярные из них отмечены в подсказках на duckduckgo.com. Достаточно ввести запрос с восклицательного знака! и вы увидите предложенные варианты.

В целом, этот сервис очень интересный. Здесь есть оригинальные функции системы, а именно поиск на других сайтах и мгновенные ответы. Настройка оформления DuckDuckGo в браузере под себе – это тоже крутая идея. С помощью них и конфиденциальности данных сервис может побороться за еще больший процент юзеров интернета.

В сети были найдены отзывы, что проект чем-то схож с молодым Гуглом, который акцентировал внимание только на своих 10-ти синих строках в выдаче. Это все хорошо, но что ждет в будущем – никто не знает. Где-то в обзоре было написано, что поисковик DuckDuckGo не размещает рекламу, а сейчас она есть.

Можно отключить показы таких объявлений, но все изменения неизбежны. Одно дело, когда выработает в компании из 5-10 сотрудников, когда объемы увеличиваются, появляется все больше вызовов и запросов. Если система сможет сохранить свои главные особенности, то аудитория это оценит.

Not Evil основана на анонимной сети Tor. Для того чтобы воспользоваться этим поисковиком, необходим специальный браузер, например, Tor.

С Not Evil вы сможете проникнуть туда, куда запрещено входить законопослушным гражданам. К сожалению, власти продолжают блокировать интернет-проекты, не имея на то никаких причин, и они не собираются останавливаться. Not Evil – ключ от всех дверей.

Not Evil является системой, которая осуществляет поиск по анонимной сети Tor. Чтобы ею воспользоваться, нужно зайти в эту сеть, к примеру, запустив специальный браузер с одноименным названием. Not Evil – не единственный поисковик в своем роде.

Есть Look (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Сегодня мы остановимся на Not Evil из-за интересного намека на сам Гугл (достаточно взглянуть на стартовую страницу). Данная система ищет там, где Гуглу, Яндексу и другим поисковикам доступ закрыт в принципе.

В сети Tor очень много ресурсов, которые нереально встретить в законопослушном интернете. И по мере того, как ужесточается контроль властей над контентом Сети, их количество будет увеличиваться. Tor является своеобразной сетью внутри сети: со своими социальными сетями, СМИ, торрент-трекерами, торговыми площадками, блогами, библиотеками и тому подобное.

Используя данную поисковую систему, вы сможете намного сэкономить свое время и сохранить полную конфиденциальность. Очень простой и интуитивно доступный интерфейс. Раньше этот проект назывался TorSearch, и у него была довольно внушительная аудитория. Поисковая выдача хорошая, но до идеала ему пока очень далеко.

YaCy

YaCy функционирует также, как сети P2P. Любое устройство (компьютер, планшет или смартфон), на котором установлен этот поисковик, самостоятельно ищет информацию. Другими словами, оно превращается в поискового робота.

Доступ к результатам предоставляется всем, кто скачал YaCa. Среди этих результатов могут быть данные из самых глубин Интернета и неиндексируемых страниц.

Лучше или хуже этот поисковик, чем другие, сказать нельзя, так как он построен по-другому. Но из-за отсутствия общего сервера очевидны две вещи: на выдачу не влияют предыдущие действия и невозможна цензура.

YaCy является децентрализованной поисковой системой, функционирующей по принципу сетей P2P. Каждый компьютер, на котором задействован главный программный модуль, сканирует интернет самостоятельно, то есть, является аналогом поискового робота. Полученные результаты собираются в единую базу, которой пользуются все участники YaCy.

Чем лучше этот сервис других систем?

Это совершенно другой подход к осуществлению поиска. Отсутствие общего сервера и компании-владельца делает результаты независимыми от чьих-то предпочтений. Если вы являетесь сторонником открытого ПО и свободного интернета, который не подвергается воздействию государственных органов и больших корпораций, то YaCy – хороший выбор.

Также благодаря ему можно осуществить поиск внутри корпоративной или другой автономной сети. И пусть в пользовании YaCy не очень полезен, он считается достойной альтернативой Гугл с точки зрения процесса поиска.

Ключевые возможности и достоинства YaCy:

Децентрализованный поиск и хранение индекса – в сети DHT.
Работа в трех режимах: глобальный поисковой индекс, групповой индекс и локальный индекс.
Отсутствие рекламы.
Отсутствие какой-либо цензуры.
Широкий выбор настроек.

Главные минусы:

Время поиска (ввиду децентрализованной природы поиск невостребованного контента может занять много времени.
Релевантность (алгоритм релевантности был переработан за эти три года, но все равно он не дотягивает до поисковых гигантов).

Что поменялось за 3 года?

Была внедрена поддержка русскоязычных поисковых запросов.
Появились подсказки на момент ввода поискового запроса.
Опережающий поиск – пока вы печатаете, сервис уже ищет ваш контент.
Стали лучше алгоритмы поиска и выдачи – более релевантный результат и миллионы других мелких изменений под капотом.

Как функционирует YaCy?

Индексирование может быть выполнено следующими путями:

принудительное указание начала сканирования;
удаленный запрос от другого пира;
настройка проксирования всех запросов от браузера к YaCy с дальнейшей индексацией того, что вы читаете.

После составления базы данных она сохраняется локально, рассылая в сеть данные о том, что она у вас есть, и распределяется по DHT на соседних пиров. Во время поиска YaCy сначала ищет результаты в локальном индексе, а потом в глобальном, контактируя по DHT с пирами, у которых есть данные об индексе того или иного запроса.

Pipl

Pipl была создана для того, чтобы искать какого-то конкретного человека. Авторы этого поисковика утверждают, что он эффективнее, чем Google и Яндекс, так как делает ставку на страницы в социальных сетях, списки и всевозможные базы данных.

У Pipl есть один минус – он плохо ищет людей в России. Но если вам нужно найти родственника или друга из США, то пожалуйста.

Чем шире всемирная паутина, тем чаще ее применяют для нахождения людей и информации о них. Сейчас мы говорим не о сайте знакомств, а о ситуациях, когда вам необходимо найти контакты или информацию об определенном человеке. Если говорить про социальные сети, то там можно найти только данные о зарегистрированных пользователях.

Для решения глобальных задач необходимо использовать специальные поисковые системы. Самым продвинутым сервисом бесплатного поиска людей в сети является Pipl.

Данная система позволяет найти людей по фамилии, имени, нику, адресу электронной почты, номеру телефона, дополнительно можно отмечать местонахождение. Запрос вводится на различных языках. В результатах поиска имеются ссылки на личные профили в Google Profiles, Facebook, профессиональные в LinkedIn, микроблоги в Twitter и другие ресурсы.

Если имя указывать на английском языке, то можно во втором этапе поиска сузить его круг, используя фильтры, отметив страну, регион, возраст человека. Особенностью этого сервиса является обращение к источникам глубокого интернета, доступ к которым ограничен, и имеющаяся на них информация не индексируется простыми поисковыми роботами.

А ведь объем очень большой, скрытый интернет соотносится с поверхностными как подводная часть айсберга с видимой, только данных там больше в сотни раз.

Источником информации являются не только профили в социальных сетях, делается анализ закрытых баз данных, резюме, анкет, которые заполняют пользователи разных ресурсов – онлайн торговых площадок, интернет-аукционов вроде Амазон, систем обмена сообщениями вроде ICQ.

Собирая по частям информацию о разных людях, система Pipl создает свое досье на каждого, более детальное, чем на других ресурсах. Применяется уникальный механизм идентификации, с помощью которого можно найти необходимого человека.

Зарегистрированные пользователи Pipl соглашаются на обработку своих личных данных и добавление их в базу системы, которая постоянно расширяется. Пользователями не могут быть лица меньше 13 лет. Перечень ссылок ведет с Pipl на сайты партнеров.

Один из них, spokeo.com, позволяет получить доступ к скрытым профилям в социальных сетях, на другом, peoplefinders.com, можно за определенную плату узнать адреса и телефоны объектов поиска, а ресурс InstantCheckmate.com имеет данные об арестах и судимостях разных людей.

FindSounds

Также как и Pipl, представляет собой специализированную поисковую систему. Но в отличие от него, ищет не людей, а звуки – природы, автомобилей и т.д. в источниках, открытых для всех. Этот поисковик не обрабатывает запросы на русском языке, но вы можете решить проблему через теги, которых в избытке.

В FindSounds нет ни фото, ни видео, ничего другого, кроме звуков. В настройках можно поставить галочку напротив одного из форматов и качества аудиодорожки. Все звуки, которые будут в выдаче, можно скачать к себе на компьютер, что очень удобно. Есть возможность загрузить образец и уже по нему искать что-то похожее.

Чтобы представить себе род звуков, по которым выполняет поиск FindSounds, можно ознакомиться с внушительным списком примеров. Сервис поддерживает великий и могучий русский язык, поэтому вы можете изучить далеко не полный список возможных звуков и эффектов на странице с примерами.

Результат поиска в FindSounds выглядит необычно. Кроме ссылки на файл, здесь есть его частотная характеристика, мини-леер (чтобы в данный момент прослушать звук или эффект) и даже кнопки «отправить этот звук на почту» или «твитнуть этот звук». При поиске в FindSounds можно воспользоваться следующими настройками:

формат файла - AIFF, AU, MP3, WAVE;
число каналов - моно, стерео;
глубина дискретизации (битность) - 8-bit, 16-bit;
частота дискретизации - 8000 HZ - 44100 HZ;
максимальный размер файла - от 16К до 2Mb.

FindSounds является узкоспециализированным инструментом, поэтому пригодится музыкантам, разработчикам онлайн битов или профессиональным ди-джеям. Также он понравится простым пользователям, которые хотят разнообразить звуковыми эффектами среду операционной системы. Данный сервис имеет внушительный индекс звуков самой разной природы, что в условиях низкой конкуренции делает его уникальным.

FindSounds имеет перечень уникальных дополнений:

Waveform Display Results – здесь результаты появляются в форме красочного изображения. По форме графика на ней можно судить о содержании найденного звукового файла. Обычно это график зависимости громкости от времени. Цвет графика также меняется, все зависит от группы частот. Это очень полезно для звукооператоров и других пользователей, которые занимаются звуком профессионально. На помощь в чтении графики приходит специальная программа FindSounds Palette.
Find Similar Results – позволяет расширить поиск, показывая похожие результаты. Применяется в качестве крайнего варианта, так как уровень релевантности низкий.
Show Page – открывает страницу, на которой был выявлен ищущий звуковой фрагмент.

Но при использовании этой необычной поисковой системы нужно помнить о предупреждении:

«На момент поиска звуковых эффектов при использовании FindSounds.com вы получаете ссылки на звуковые фрагменты, находящиеся на веб-сайтах по всему миру. На звуковые эффекты, которые указаны в найденных звуковых фрагментах, распространяются национальные и международные законы об авторском праве. Мы не даем разрешения на их использование».

Простыми словами, вам просто нужно написать владельцу данного файла и попросить разрешения на использование.

WolframAlpha – самый что ни на есть настоящий клад для тех, чья учебная или профессиональная деятельность связана с вычислениями. Вместо стандартной выдачи (ссылок на сайты) этот поисковик предоставляет готовый ответ на вопрос. Попробуйте ввести «сравнить население в Москве и Санкт-Петербурге». Вы увидите большое количество диаграмм, графиков и таблиц и с подробными пояснениями.

С WolframAlpha вам нет необходимости тратить время на анализирование и систематизацию информации. Поисковый робот все сделает сам и покажет только результат.

Особенности WolframAlpha

Кроме Гугл можно использовать другие поисковые инструменты. Например, WolframAlpha – популярная интеллектуальная поисковая платформа, которая тоже умеет искать в интернете. Но данный сервис отличается тем, что умеет обрабатывать запросы на естественном языке и понимать их, в результате своей работы выдавать точный ответ на поставленный вопрос или запрос.

WolframAlpha является универсальным справочником, в котором можно найти почти все, делая усилий. В отличие от Гугл или других стандартных поисковых машин, выдача в WolframAlpha предоставляет готовый ответ на вопрос, а не страницы, на которы еще необходимо найти интересующую информацию.

Поэтому данный сервис экономит много времени и усилий и может применяется в проверке фактов очень активно. Ниже мы приведем список возможных сценариев применения WolframAlpha:

Сервис помогает найти доскональную информацию о знаменитых людях и событиях. В интернете можно найти все что угодно, но WolframAlpha сделает этот список упрощенным и комфортным. В частности, это касается поиска информации об известных людях. Алгоритмы WolframAlpha умеют собрать по частям и предоставить в удобном формате почти все, что есть в сети. Важно – грамотно поставить запрос. К примеру, при помощи Wolfram Alpha можно узнать, в каких фильмах снимались сразу два актера, или какие видеоигры были выпущены в определенный месяц. Сервис предоставит перечень нобелевских лауреатов определенного года, с указанием возраста, места рождения, сферы науки. Wolfram Alpha найдет первую фразу классического романа или библии.
Сервис отлично работает с датами. Запрос в форме даты в Wolfram Alpha приводит к получению интересного результата. К примеру, если указать в качестве запроса дату, то поисковая система посчитает, сколько дней, недель, месяцев и лет назад это было или будет. Для дат из прошлого сервис выдает важные события, которые произошли в этот день, – началах войн, известных авиакатастроф и стихийных бедствий, исторических событиях или датах рождения знаменитых людей. Если установить промежуток дат (в разумных пределах), то сервис выдаст самые важные события, произошедшие в определенный период. Не рассчитывайте, что Wolfram Alpha правильно обработает промежуток в десятилетие, а вот полгода-год – вполне разумный промежуток, за который сервис может сработать так, как необходимо пользователю.
Погода в определенный день. Работа с датами в Wolfram Alpha сделана настолько разнообразно, что в рамках нашего обзора мы не сможем подробно рассказать о всех возможностях этого сервиса. А это значит, что для проверки фактов – оперативной и комфортной, без долгого гугления и просеивания веб-ресурсов, усилиями вебмастеров – Wolfram Alpha моментально выдаст правильный и наглядный результат. К примеру, сервис позволяет легко узнать, какая погода была в определенный день в обозначенном городе. Сразу отобразится доскональная географическая информация о городе, дополненная картой с динамикой погоды в искомом городе за последние 50 лет. Более того, можно указывать запрос о климате – Wolfram Alpha отлично отвечает на этот вопрос.
Сравнения при помощи Wolfram Alpha. Сервис имеет очень комфортный инструмент сравнения. Достаточно просто написать через запятую два понятия или дополнить их уточняющим словом, и Wolfram Alpha сделает сравнительный анализ и покажет удобную таблицу. Например, можно сравнить население двух городов, два велосипеда, самолета. Таким образом, можно сравнить посещаемость двух веб-ресурсов и другую информацию о них, о двух журналах или передачах.
Идентификация картинок при помощи Wolfram Alpha. У сервиса есть свой проект идентификации картинок. В отличие от сервисов обратного поиска, этот сервис не умеет распознавать, кто изображен на картинке. Его задачей является ответить на вопрос о том, что именно изображено на картинке. К примеру, он умеет распознавать машину, грузовик, самолет, бытовую технику и так далее. Разработчики Wolfram Alpha отмечают, что такой умный поиск изображений – очень сложная задача, чем ответы на самые сложные текстовые запросы, и обещают модернизировать этот сервис в будущем.
Выявление параметров для фотосъемки. Многие современные цифровые камеры умеют вычислять глубину резкости и диафрагмы, но для решения этой задачи можно обратиться за помощью к Wolfram Alpha. Необходимо задать вопрос о глубине поля, а сервис подсчитает диафрагменное число и фокусное расстояние. Wolfram Alpha может вычислять главные диафрагменные параметры, гиперфокальное расстояние и ряд других параметров.

Как уверяют изобретатели, у Dogpile особый алгоритм ранжирования, он собирает и выдает лучшее из лучшего. Незаменим в том случае, если вы не можете найти информацию ни в Гугле, ни в Яндексе. И так бывает, поверьте, особенно когда пытаешься узнать что-то серьезное, докопаться до истины.

Приятный бонус Dogpile, о котором нельзя не сказать – минимум рекламы.

BoardReader позволяет искать информацию в социальных сетях, на форумах, в сервисах вопросов-ответов и других площадках с преимущественно текстовым наполнением.

В BoardReader есть несколько фильтров. Вы сможете отыскать пост и комментарии к нему по таким критериям, как язык, название сайта и день публикации.

Этот поисковик пригодится пиарщикам и всем остальным специалистам в области масс-медиа, которые изучают мнение населения по той или иной теме.

Напоследок

У альтернативных поисковых систем не самая хорошая судьба. Одни из них очень быстро умирают, не прожив и пары лет, другие хоть и остаются, но обслуживают менее одного процента от целевой аудитории Гугла и Яндекса и, соответственно, не имеют солидных в денежном плане перспектив.

Если еще раз пройтись по примерам в статье, то станет видно, что альтернативные поисковики или концентрируются в узкой области, на которую пока что не обращают внимание гиганты Google и Яндекс, или проверяют какой-то алгоритм ранжирования.

Если поиск по анонимной сети Tor потребуется большему числу людей, чем сейчас, то Google и Яндекс обязательно предложат что-то подобное. Это касается и других фишек альтернативных поисковых систем.

Как бы то ни было, но альтернативные поисковики дают то, на что не способны Гугл и Яндекс. И это отлично.

Принято считать, что история первых поисковиков российского сегмента интернета начинает свой отсчет с 1995 года. Именно в этом году пользователям Рунета стало доступно морфологическое расширение к поисковику Altavista. Практически следом за расширением появились оригинальные поисковики Апорт и Рамблер, которые и считаются первыми российскими поисковыми машинами.

AltaVista появилась в декабре 1995 г. и была поддержана самым мощным доступным на тот момент вычислительным сервером DEC Alpha. Это был самый быстрый поисковик, который мог обрабатывать миллионы поисковых запросов в день.

Апорт

Поисковая система Апорт была продемонстрирована широкой общественности на несколько месяцев раньше Рамблера в феврале 1996 года. На момент своего запуска машина производила поиск только по сайту russia.agama.com. В дальнейшем разработчики Апорта продемонстрировали крайнюю нерасторопность в развитии своего проекта, очень долго налаживая поиск, сначала по 4 серверам, потом по 6. Индексировать весь Рунет Апорт научился только к ноябрю 1997 года, тогда же и прошла его официальная . К этому моменту в русскоязычном сегменте уже успешно работал другой поисковик под названием Рамблер.

Несмотря на все эти обстоятельства, Апорту до начала 2000-х гг. удавалось успешно конкурировать с основными игроками рынка Рамблером и Яндексом, и входить в список лидеров поиска в Рунете. Впоследствии, компания создавшая эту поисковую систему была выкуплена телекоммуникационным холдингом, все разработки были прекращены, и Апорт быстро сдал свои позиции, уступив своим основным конкурентам.

На данный момент Апорт представляет из себя электронную торговую площадку, с большой базой фирм и компаний, предлагающих более 8 миллионов наименований товаров, в 1400 категориях.

Рамблер

Создать оригинальную российскую поисковую машину команда телекоммуникационной компании Стек решила еще в 1994 году. К тому моменту Стек уже имел определенный опыт в работе с сетью интернет, серверами и веб-сайтами. Работая с русским сегментом интернета, специалисты компании определили, что зарубежные поисковые машины практически не воспринимают кириллицу и страницы с несколькими кодировками, и очень плохо индексируют сайты Рунета.

Rambler» в переводе с английского языка - «странник», «бродяга», «праздношатающийся человек».

Ядро нового поисковика буквально за несколько месяцев написал программист Дмитрий Крюков. Работа над новой машиной финансировалась компанией Стек, создатель которой Сергей Лысаков активно помогал Крюкову в его весьма непростой работе. Название Рамблер и логотип будущей поисковой системы, также Дмитрий. Домен rambler.ru был зарегистрирован 26 сентября 1996 года, а 8 октября поисковая машина носящая название Rambler была выложена ее создателем в сеть. На тот момент новым поисковиком было проиндексировано 100 тысяч документов, что являлось продуманным и стратегически важным шагом, позволившим Рамблеру на несколько лет стать безоговорочным лидером поиска в Рунете.

1. Введение

Поисковая оптимизация сайтов обычно включает в себя преобразование структуры сайта, наполнение текстовым содержимым в зависимости от продвигаемых запросов, а также различные способы повышения цитируемости ресурса. Кроме стандартных оптимизационных процессов имеются многочисленные методы, которые применяются уже к конкретной поисковой системе. Конечно, поисковики с открытыми кодами пока редкость, и оптимизаторам есть над чем поломать головы, но некоторые основные закономерности поведения можно проследить и у уже утвердившихся систем.

В этом мастер-классе мы с оттенком сравнительного анализа рассмотрим самые популярные зарубежные поисковики и поисковые системы России.

2. Российские поисковые системы

Google, Yandex, и Rambler на сегодняшний день считаются наиболее популярными поисковыми машинами в России. Система Yandex является более посещаемой и имеющей в необходимой степени релевантную выдачу, следовательно, чаще всего оптимизаторы берутся продвигать ресурс именно в этой системе.

Рассмотрим более подробно каждую их этих поисковых систем.

Google

Google имеет свой российский аналог, менее популярный чем исходный американский, но ничем ему не уступающий по качеству поиска. У Google в России есть многочисленные поклонники, считающие, что этот поисковик выдает наилучший результат.

PageRank, используемый в Google, в основном основан на link popularity. Т.е. при вычислении релевантности страницы наибольший вклад имеет количество и качество ссылок на страницы с других страниц.

На данный момент база данных Google насчитывает более миллиарда проиндексированных страниц.

Google - одна из немногих поисковых систем, которая глубоко индексирует ваш сайт. Google использует link popularity как наиболее весомый фактор в определении релевантности страницы. Поэтому большим и популярным сайтам проще попасть на высокие позиции в результатах поиска. Это также защищает Google от спама.

Google полагает, что следующие факторы будут наиболее весомыми при ранжировании страниц:

Link popularity (индекс цитирования);
Keyword proximity and density (плотность и частота ключевых слов);
Keywords in the link text (ключевые слова в ссылках);
Emphasized text (выделенный текст).

Yandex

Отличительная особенность Yandex – интуитивный поиск во всех словоформах. Уникальная разработка под особенности русского языка.

В каталоге Яндекса используется такое понятие, как тематический индекс цитирования (тИЦ) . Он определяется количеством и качеством внешних ссылок на ваш сайт. На качество ссылки влияет тИЦ ресурса, ссылающегося на вас. Немаловажную роль играет тематическая близость вашего сайта ссылающимися на вас ресурсам.

При подсчете индекса цитирования не берутся во внимание ссылки с форумов, веб-досок, конференций, сайтов, расположенных на бесплатных хостингах (если они не описаны в каталоге Яндекса). Естественно, не учитываются ссылки с тех сайтов, которые Яндекс не индексирует (например, зарубежные сайты).

Количество хостов зависит от посетителей (чем их больше, тем больше хостов), а индекс цитирования Яндекса – от авторов сайтов (чем больше авторов поставят ссылку на ваш ресурс, тем выше значение CY).

По значению индекса цитирования определяется релевантность ресурса в каталоге Яндекса и, соответственно, позиция вашего сайта в выбранном разделе.

Переиндексация документа происходит примерно раз в две недели, но под каждый сайт робот подстраивается в отдельности. Все зависит от частоты обновления. По словам Яндекса, тег < meta name="Revizit-after" content="n-days"> никакой роли в работе робота не играет.

Яндекс индексирует российскую сеть, поэтому в поисковую машину вносятся сервера в доменах su, ru, am, az, by, ge, kg, kz, md, ua, uz. Остальные сервера вносятся, только если на них найден текст на русском языке.

Информация в заголовке (тег < title >) Яндекс отображает в результатах поиска. Слова, находящиеся в теге < title >, имеют больший вес чем все остальные. Ключевые слова в теге < meta> также увеличивают вес слова в документе, но только если само слово находится на странице.

Помимо вышеперечисленных способов, на релевантность слова влияют частота его использования в заголовках (< h1>, < h2> ...), в атрибуте alt, во всплывающих подсказках (тег < acronym>) и процент встречаемости этого слова в документе, т.е. как часто вы его используете. Но при этом необходимо сохранить смысл документа, иначе Яндекс может посчитать это слово спамом.

Rambler

Является лучшим рубрикатором на сегодняшний день. Удобен тем, что все ресурсы разбиты на разделы, подразделы и т.д. Многие из них участвуют в рейтинге Top100, что позволяет определить популярность того или иного ресурса.

Считается, что основополагающим фактором для продвижения сайта в Rambler является хороший контент и посещаемость, измеряемая с помощью установленного на сайте счетчика. Таким образом, высокие позиции в рейтинге может занимать сайт хорошо раскрученный, качественно и давно зарекомендовавший себя в интернете, с большой посещаемостью.

Aport

Наименее популярная из перечисленных поисковых систем. Основные критерии, которые данная система учитывает при сортировке сайтов:

количество искомых слов в тексте документа (в процентах), расстояние между поисковыми словами в тексте документа;
место в тексте, где встречаются поисковые слова (заголовок, описание, мета-тег и т.п.);
внешний вид шрифта, которым набраны в тексте искомые слова (размер, жирность, цвет);
количество ссылок из Интернета на данный документ;
использование искомого слова в тексте ссылок из Интернета на данный документ.

3. Зарубежные поисковые системы

Представленные ниже зарубежные поисковые системы широко известны и используются во всем мире. Для веб-мастеров эти поисковые системы – наиболее важные места для регистрации, так как потенциально они способны привести большое количество посетителей на сайт. Некоторые из перечисленных систем не являются полноценными поисковиками, а лишь используют ресурсы других известных поисковых систем.

Считается по количеству проиндексированных страниц одной из наиболее крупных поисковых систем. Большую популярность система получила благодаря возможности вести поиск по усложненным критериям отбора. AltaVista предлагает дополнительные услуги в виде поиска по каталогам из Open Directory, LookSmart, Ask Jeeves.

Google – это поисковая система, которая использует количество ссылок на веб-сайт, как основной параметр популярности сайта. Это особенно полезно при поиске хороших сайтов с помощью простых поисковых запросов. Google знаменит высокой релевантностью ссылок. Google имеет очень большую базу данных проиндексированных сайтов и предоставляет часть своих результатов Yahoo и Netscape Search.

Yahoo является наиболее популярным и старейшим поисковым средством. В Yahoo работает около 150 редакторов, которые составляют и редактируют содержимое своих каталогов. Yahoo имеет в базе данных более 1 миллиона проиндексированных сайтов. Также, в случае нехватки своей собственной базы данных, Yahoo использует базу данных Google, а ранее, надо сказать, использовал базу Inktomi.

Direct Hit измеряет количество кликов. Сайты, по которым больше кликают, получают лучший рейтинг. Известна под названием "поисковая система популярности".

Результаты Direct Hit также появляются в HotBot, а также, в виде опции, могут показываться в MSN Search.

Результаты системы берутся из LookSmart, Inktomi, RealNames и Direct Hit. Для пользователей Search существует уникальная возможность сохранять результаты предыдущего поиска.

Ярким отличием системы является то, что позиции в выдаче продаются. GoTo считает такую выдачу более релевантной. Также можно купить более высокие места в различных рейтингах. Неоплаченные результаты предоставляет Inktomi.

В этой системе не реализована возможность ввода поискового слова напрямую, только через интерфейс других поисковых систем. А таких превеликое множество.

Характерной чертой можно назвать отличные результаты для каждого их партнеров этой базы. Варьирование результатов предоставляет возможность выдаче отдельного поисковика отличаться от других.

Наполнение данной системы осуществлялось с привлечением добровольцев. После достаточного формирования стало возможным свободно пользоваться ее результатами. В настоящее время Open Directory используют Lycos, AOL Search, AltaVista и HotBot.

Отличительная особенность этой системы заключается в том, что при наборе ключевого слова (например, бренда компании) можно попасть на официальный сайт этой компании.

4. Особенности продвижения

Какой бы ни была поисковая система, российской или зарубежной, какие бы она алгоритмы фильтрации не имела, все равно основным критерием оценки релевантности ресурса относительно конкретного запроса является наличие качественного текстового наполнения, что не может не радовать. Для добросовестных оптимизаторов первостепенной задачей при продвижении ресурса является, прежде всего, оптимизация контента сайта, его внутренней ссылочной навигации и удобства для непосредственного пользователя, а не прямая оптимизация под определенную поисковую систему.

Второй по значимости шаг при продвижении во многих поисковиках – это наличие максимального количества ссылок на ресурс. Хотя среди многих непосредственных пользователей бытует мнение, что этот критерий не может в полной мере предоставлять результат, на сегодняшний день он является необходимым.

Можно сказать, что другие особенности продвижения для разных поисковых систем, которые, откровенно говоря, уже и являются не совсем «чистыми», формируются непосредственно издержками фильтрующих алгоритмов самих поисковиков. Таким образом, сами поисковые системы провоцируют оптимизаторов идти на ухищрения. Особенно это касается основных российских поисковиков, отличающихся тенденцией к монополизму.

5. Заключение

Мастер-класс позволяет оценить принципиальные различия поисковых гигантов и составить некоторое представление о том, каким же образом в интернете можно получить более или менее релевантную информацию. Наличие многочисленных поисковых систем создает значительную конкуренцию, а, как известно, конкуренция влечет за собой процессы, направленные на прогресс и развитие в нужном направлении. В данном случае главным приоритетом все же является качественный результат. Ура!

Поисковые системы (ПС) уже приличное время являются обязательной частью интернета. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.

Многие пользователи поиска никогда не думали о принципах их работы, о способах обработки пользовательских запросов, о том, как построены и функционируют данные системы. Данный материал поможет людям, которые занимаются оптимизацией и , понять устройство и основные функции поисковых машин.

Функции и понятие ПС

Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.

Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.

Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.

Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Анадыри»).

Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. А приучить пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.

Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.

Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?

Для того чтобы получить правильные ответы на подобные вопросы, разработчики поиска постоянно улучшают принципы ранжирования и его алгоритмы, добавляют им новые возможности и функции и любыми средствами пытаются сделать быстрее работу системы.

Основные характеристики поисковых систем

Обозначим главные характеристики поиска:

Полнота.

Полнота является одной из главнейших характеристик поиска, она представляет собой отношение цифры найденных по запросу информационных документов к их общему числу в интернете, относящихся к данному запросу. Например, в сети есть 100 страниц имеющих словосочетание «как выбрать авто», а по такому же запросу было отобрано всего 60 из общего количества, то в данном случае полнота поиска составит 0,6. Понятно, что чем полнее сам поиск, тем больше вероятность, что пользователь найдет именно тот документ, который ему необходим, конечно, если он вообще существует.

Точность.

Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.

Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.

Актуальность.

Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.

К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.

Скорость поиска.

Такая функция как скорость поиска теснейшим образом связана с так называемой «устойчивостью к нагрузкам». Ежесекундно к поиску обращается огромное количество людей, подобная загруженность требует значительного сокращения времени для обработки одного запроса. Тут интересы, как поисковой системы, так и пользователя целиком совпадают: посетитель хочет получить результаты как можно быстрее, а поисковая система должна отработать его запрос тоже максимально быстро, чтобы не притормозить обработку последующих запросов.

Наглядность.

Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.

Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.

История развития поисковых систем

Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.

Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.

Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самый известный и большой каталог в мире имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.

Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.

В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.

В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.

В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.

По данным на сентябрь 2015 года , доли поисковых систем в мире распределены следующим образом:

Google - 69,24 %;
Bing - 12,26 %;
Yahoo! - 9,19 %;
Baidu - 6,48 %;
AOL - 1,11 %;
Ask - 0,23 %;
Excite - 0,00 %

По данным на декабрь 2016 года , доли поисковых систем в Рунете:

Яндекс - 48,40%
Google - 45,10%
Search.Mail.ru - 5,70%
Rambler - 0,40%
Bing - 0,30%
Yahoo - 0,10%

Принципы работы поисковой системы

В России главной системой поиска является Яндекс, затем Google, а потом Поиск@Mail.ru. Все большие системы поиска имеют свою структуру, которая весьма отличается от других. Но все-таки можно выделить общие для всех поисковиков основные элементы.

Модуль индексирования.

Данный компонент состоит из трех программ-роботов:

Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.

«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.

URL скаченной страницы;
дата, когда осуществлялось скачивание страницы;
заголовок http-ответа сервера;
html-код, «тела» страницы.

Crawler («путешествующий» паук). Данная программа автоматически заходит на все ссылки, которые найдены на странице, а также выделяет их. Его задача – определиться, куда в дальнейшем должен заходить паук, основываясь на этих ссылках или исходя из заданного списка адресов.

Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.

Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.

Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.

Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.

База данных

База данных (или индекс поисковика) - комплекс хранения данных, массив информации в котором сохраняются определенным образом переделанные параметры каждого обработанного модулем индексации и скачанного документа.

Поисковый сервер

Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.

Поисковый сервер работает следующим образом:

Запрос, который идет от пользователя подвергается морфологическому анализу. Информационное окружение любого документа, имеющегося в базе, генерируется (оно и будет в дальнейшем отображаться как сниппет, т.е. информационное поле текста соответствующего данному запросу).
Полученные данные передают как входные параметры специализированному модулю ранжирования. Они обрабатываются по всем документам, и в итоге для каждого такого документа рассчитывается свой рейтинг, который характеризует релевантность такого документа запросу пользователя, и иных составляющих.
В зависимости от условий заданных пользователем этот рейтинг вполне может быть подкорректирован дополнительными.
Затем генерируется сам сниппет, т.е. для любого найденного документа из соответствующей таблицы извлекают заголовок, аннотацию, наиболее отвечающую запросу, и ссылка на этот документ, при этом найденные словоформы и слова подсвечивают.
Результаты полученного поиска передаются осуществившему его человеку в виде страницы, на которую выдают поисковые результаты (SERP).

Все эти элементы тесно связаны между собой и функционируют, взаимодействуя, образовывая отчетливый, но достаточно непростой механизм функционирования ПС, требующий громадных затрат ресурсов.

Популярность поисковых систем в России, Украине и мире. История развития поисковых систем. Рамблер и Апорт – вымершие динозавры.
Я всегда утверждал и буду утверждать, что узкий специалист, не интересующийся ничем, кроме сугубо практических деталей, не сможет достичь настоящих высот в своей профессии. Такой человек становится не «узким», а «узколобым»:-) Поэтому давайте рассмотрим историю развития поисковых машин, а также то, какую долю рынка занимает каждый из поисковиков в настоящее время. Популярность поисковых систем в России и Украине – очень значимый момент для продвижения.

История развития поисковых систем . В далекие 90-е годы, когда Интернет только-только начал входить в жизнь, поисковых систем в современном понимании этого слова не существовало. Поиск нужного ресурса происходил через каталоги сайтов, где имевшиеся на тот момент Интернет-проекты упорядочивались по рубрикам. Поскольку пользователей в сети было немного, а сайтов и вообще мало – то такой способ структурирования данных был вполне удобным и адекватным.

Первой полноценной поисковой машиной стал проект WebCrawler. Принципиальное отличие от предшественников состояло в том, что этот поисковик осуществлял т.н. полнотекстовый поиск. Т.е. искал не только локально по какому-то каталогу, не только по мета-тегу Keywords, но анализировал полный текст веб-страницы, что позволяло успешно находить любые фразы (а не только те, которые вебмастер указал в описании своего сайта как ключевые).

Лично мне название WebCrawler ни о чем не говорит – это слишком далеко в прошлом, в России в те времена само слово-то Интернет не каждый слышал:-) А вот появившийся в 1996 Lycos уже на слуху у вебмастеров постарше, во всяком случае название это многим знакомо. Вскоре за Лайкосом была запущена лучшая поисковая система своего времени AltaVista – уж это-то имя вы наверняка слышали. Примерно до 2000 года АльтаВиста оставалась лидирующей поисковой системой в мире.

В 1998 году была создана компания Google. Ее разработчики, Сергей Брин и Лари Пэйдж, совершили революцию в качестве поиска, разработав алгоритм PageRank, позволяющий учитывать «вес» страницы, в зависимости от числа ссылок на нее. Это настолько радикально улучшило качество поиска, что Google стал быстрыми темпами завоевывать аудиторию и через несколько лет стал лидирующей поисковой машиной мира, которой и остается до сих пор. Помнится, году примерно в 2000, я в институте наблюдал спор между двумя студентами нашей группы о том, что Альтависта отстой, а Гугл ищет лучше:-)

Поисковая система Апорт . Разработка компании Агама, увидевшая свет в 1996 году. Проект, который в течение нескольких лет оставался лидирующей поисковой машиной Рунета. Пишу это и сам себя начинаю ощущать очень древним:-) Ведь когда-то, будучи студентами, именно Апортом мы и пользовались для поиска. Других альтернатив не было, да они были и не нужны, ведь Aport прекрасно справлялся со своей задачей.

Прекрасный старт, однако, не обеспечил столь же прекрасного развития в дальнейшем. Апорт был таким лакомым кусочком, что несколько раз менял владельцев, с каждым разом продаваясь все дороже и дороже. Именно это его, судя по всему, и погубило. На первый план вышел «эффективный менеджмент и маркетинг», а на техническое обеспечение банально «забили». После этого пользователи Рунета повернулись к Апорту задом – благо два других главных поисковика – Рамблер и Яндекс – активно боролись за место под солнцем.

Не помню уже точных дат, но сперва Апорт отказался от собственных алгоритмов ранжирования, начав использовать данные Яндекса, а пару лет назад и вовсе прекратил свое существование как поисковая система. Теперь на знаменитом домене расположен Интернет-магазин, причем не самого лучшего качества.

Эх… а ведь когда-то у Апорта был еще и свой каталог, в который вебмастера стремились попасть почти с той же силой, что нынче в Яндекс. Кстати, первый дизайн для Апорта разрабатывал Артемий Лебедев… практически одновременно с дизайном для Яндекса.

Поисковая система Рамблер . Рамблер был запущен все в том же 1996 году и почти десятилетие оставался одним из главных игроков на рынке. В отличие от Апорта, который «сошел на нет» очень и очень быстро, Рамблер скатывался к нынешнему «бомж-положению» медленно и с сопротивлением.

Практически до самого последнего момента у Рамблера продолжал работать свой поисковый движок, выдававший кстати неплохое качество. Подумать только – долгие годы Рамблер был вторым поисковиком Рунета, причем третьим шел вовсе не полудохлый уже Апорт, а могущественный Гугл!

Тем не менее, доля Рамблера на рынке все уменьшалась и уменьшалась, а в 2011 году он был выкуплен Яндексом и стал выдавать идентичные с Яндексом результаты. Так закончилась история Рамблера, некогда сильнейшего российского поисковика.

Поисковые системы Гугл и Яндекс . На данный момент по сути остались только две актуальные поисковые машины – Яндекс и Гугл. Всякого рода Лукосы и Альтависты давно забыты и в качестве поисковых сервисов не функционируют. Рамблер был куплен Яндексом и сейчас показывает результаты последнего. Апорт превратился в Интернет-магазин. Очень небольшую долю рынка удерживают Yahoo и Bing – поиск от компании Майкрософт. В России помимо Яндекса и Гугла существует еще Майл.ру, но он не имеет собственного поискового движка, а использует результаты поиска от Гугл, внося в них лишь незначительные коррективы.

Популярность поисковых систем в России, Украине и в мире . На данный момент рынок поиска в России поделен примерно так:

Яндекс – 63%
Гугл – 26%
Майл.ру – 8%
Рамблер – 1.5%
Бинг – 0.6%

На Украине соотношение существенно иное, Яндекс здорово отстает от своего главного конкурента, но потихоньку увеличивает свою долю рынка:

Гугл – 60%
Яндекс – 29%
Майл.ру – 6%

В мировом поиске лидер только один, абсолютный и безоговорочный – Гугл.

Кстати говоря, мы с вами можем испытывать заслуженную гордость за свою страну – только в России и в Китае были созданы свои собственные системы поиска. Больше нигде в мире качественных поисковых машин не появилось. В европейских странах – Франции, Германии и прочих – Гугл используют до 97-99% пользователей, т.е. альтернативы по сути нет.

Есть в этом и практический аспект – у российского вебмастера больше шансов получить посетителей из поиска. Часто бывает, что Яндекс сайт «любит», а гугл нет, или наоборот. Но и в том и в другом случае клиенты у сайта имеются. У наших западных коллег работает принцип «все или ничего».

Есть и второй момент – продвижение в Гугл и в Яндекс в определенной мере различается, и желание попасть в топ обоих лидеров накладывает свой отпечаток на модель раскрутки сайта.

Моя книга издана в бумажном варианте. Если этот учебник оказался для вас полезным - то вы можете отблагодарить меня не только морально, но и вполне осязаемо.
Для этого нужно перейти на