Устройство поисковых систем: Как устроены поисковые системы, устройство поисковиков

Как устроены поисковые системы, устройство поисковиков

Современные поисковые системы обрабатывают десятки тысяч обращений в секунду, формируя результаты из миллиардов вариантов. Давайте рассмотрим, как устроены механизмы поиска.

Поисковые системы на физическом уровне

Современная поисковая машина – это сложнейшая структура, состоящая из сотен тысяч, а в случае с Google – миллионов физических серверов. Вся информация, которая на них хранится, надежно защищена и распределена по дата-центрам по всему миру.

Еще в 1997 году обработкой запросов для пользователей Яндекса и выдачей результатов поиска занимался всего один сервер, который был слабее любого современного домашнего компьютера. Сервер располагался в кабинете одного из основателей компании. Уже к 2000 году у Яндекса было около 50 серверов. Каждый месяц число серверов увеличивалось, что со временем привело к появлению собственного дата-центра (сейчас у Яндекса их уже четыре). Современный дата-центр – это сотни серверов, объединенных в единую сеть, которые позволяют справляться с большим объемом запросов и высокой посещаемостью сервиса. Для примера, посещаемость только поиска Яндекса за сентябрь 2012 года составила 27,6 млн человек.

Поисковые системы на логическом уровне

Когда пользователь хочет что-то найти, он вводит запрос. Его сначала обрабатывает «балансировщик нагрузки» – специализированное устройство, которое автоматически перенаправляет запрос пользователя в наименее загруженный на данный момент кластер. Это позволяет максимально эффективно использовать имеющиеся вычислительные мощности.

Затем поисковый запрос попадает в метапоиск. Эта система получает все необходимые данные и узнает, к какому типу данных запрос относится. На этом же этапе запрос проверяется на орфографию. Также система определяет, из какого региона поступил запрос и стоит ли по нему показывать региональные сайты.

Далее метапоиск проверяет, не было ли похожего запроса к системе в последнее время. Это связано с тем, что некоторые запросы становятся очень популярными в определенные моменты (значимое событие, катастрофа или даже рекламная кампания нового продукта), а другие популярны постоянно (например, связанные с социальными сетями). Чтобы снизить нагрузку, поисковая система некоторое время хранит ответы на запросы пользователей в кэше и в случае повторных обращений показывает уже готовые результаты, вместо того чтобы формировать ответы заново.

Если при проверке не получилось найти уже готовый ответ в кэше, поисковая система начинает формирование нового ответа и запрос пользователя передается дальше, на серверы «базового поиска». Именно в базовом поиске находится индекс поисковой системы, разбитый на отдельные части и распределенный по серверам, поскольку поиск по частям всегда быстрее.

Стоит обратить внимание, что каждый сервер имеет несколько копий. Это позволяет не только защитить информацию от потери, но и распределить нагрузку. Если информация с конкретного сервера окажется слишком востребованной и один из серверов будет перегружен, проблема решится подключением копий этого сервера.

По результатам поиска каждый сервер базового поиска возвращает метапоиску результаты, связанные с запросом пользователя. Далее к работе подключается алгоритм ранжирования «Матрикснет», который и определяет, на каком месте в поисковой выдаче будет каждая конкретная ссылка.

Вернуться назад: Обзор современных поисковых систем
Читать далее: Процессы поисковых систем

Основные принципы работы поисковых систем в Интернете

Какой бы вопрос не волновал современного человека, ответы он не ищет в книгах. Он ищет их в интернете. Причем не нужно знать адрес сайта, на котором лежит нужная тебе информация. Таких сайтов миллионы, а помогает найти нужный поисковая система.

На просторах нашего отечественного интернета самые популярные две поисковые системы – Google и Яндекс.

Вы хотя бы раз задумывались, как работает поисковая система? Как она понимает, какой сайт показать, на каком из миллионов ресурсов точно есть ответ на ваш запрос?

Если да – читайте дальше.

Что представляет собой поисковая система?

Поисковая система – это огромная база веб-документов, которая постоянно пополняется и расширяется. У каждой поисковой системы есть поисковые пауки, роботы – это специальные боты, которые обходят сайты, индексируют размещенный на них контент, а затем ранжируют по степени его качества и релевантности поисковым запросам пользователей.

Поисковые системы работают для того, чтобы любой человек мог найти любую информацию. Потому они стараются показывать в первую очередь те веб-документы, в которых есть максимально подробный ответ на вопрос человека.

По своей сути поисковая система – это каталог сайтов, справочник, основная функция которого – поиск информации по этому самому каталогу.

Как я уже написал выше, у нас популярные две системы – Google (мировая) и Яндекс (русскоязычный сегмент). Но есть еще такие системы, как Rambler, Yahoo, Bing, Mail.Ru и другие. Принцип работы похож у них у всех, отличаются только алгоритмы ранжирования (и то не сильно существенно).

Как работает поисковая система в Интернете

Принцип работы поисковых систем очень сложный, но я попробую объяснить простыми словами.

Поисковый робот (паук) обходит страницы сайта, скачивает их содержимое и извлекает ссылки. Далее начинает свою работу индексатор – это программа, которая анализирует все скачанные пауками материалы, опираясь на собственные алгоритмы работы.

Таким образом, создается база данных поисковой системы, в которой хранятся все обработанные алгоритмом документы.

Работа с поисковым запросом проводится следующим образом:

• анализируется введенный пользователем запрос;
• результаты анализы передаются специальному модулю ранжирования;
• обрабатываются данные всех документов, выбираются самые релевантные введенному запросу;
• генерируется сниппет – заголовок, дескрипшн, слова из запроса подсвечиваются полужирным;
• результаты поиска представляются пользователю в виде SERP (страницы выдачи).

Принципы работы поисковых машин

Главная задача любой поисковой системы – предоставить пользователю наиболее полезную и точную информацию по его запросу. Потому поисковый робот обходит сайты постоянно. Сразу после вашего запуска, согласно определенному распорядку, паук заходит к вам в гости, обходит ряд страниц, после чего проходит их индексация.

Принцип работы поисковых машин базируется на двух основных этапах:

• обход страниц, с помощью которого собираются данные;
• присвоение индекса, благодаря которому система сможет быстро проводить поиск по содержимому данной страницы.

Как только страница сайта проиндексирована, она уже появится в результатах поиска по определенному поисковому запросу. Проверить, попала ли новая страница в индекс поисковой системы, можно с помощью инструментов для вебмастеров. Например, в Яндекс.Вебмастере сразу видно, какие страницы проиндексированы и когда, и какие выпали из индекса и по какой причине.

Но вот на какой странице она окажется – зависит от степени индексации и качества ее содержания. Если на вашей странице дается самый точный ответ на запрос – она будет выше всех остальных.

Принципы ранжирования сайтов в поисковых системах

По какому принципу работают поисковые роботы, мы разобрались. Но вот каким образом проходит ранжирование сайтов?

Ранжирование базируется на двух основных «китах» — текстовое содержание страницы и нетекстовые факторы.

Текстовое содержание – это контект страницы. Чем он полнее, чем точнее, чем релевантнее запросу – тем выше будет страница в результатах выдачи. Кроме самого текста, поисковая система обращает внимание на заполнение тегов title (заголовок страницы), description (описание страницы), h2 (заголовок текста).

Нетекстовые факторы – это внутренняя перелинковка и внешние ссылки. Суть в чем: если сайт интересен, полезен, значит, на него ссылаются другие тематические ресурсы. И чем больше таких ссылок – тем авторитетнее ресурс.

Но это – самые основные принципы, очень кратко. Вникнем чуть глубже.

Основные факторы ранжирования сайта

Есть целый ряд факторов, влияющих на ранжирование сайта. Основные из них – это:

1. Внутренние факторы ранжирования сайта

Это текст на сайте и его оформление – подзаголовки, выделение важных моментов в тексте. Использование внутренней перелинковки тоже сюда относится. Также важны визуальные элементы: использование картинок, фотографий, видео, графиков. Немаловажно также качество самого текста, его содержание.

2. Внешние факторы ранжирования сайта, которые определяют его популярность. Это те самые внешние ссылки, которые ведут на ваш сайт с других ресурсов. Определяется не только количество этих сайтов, но их качество (желательно, чтобы сайты были схожей тематики с вашим), а также общее качество ссылочного профиля (насколько быстро появились эти ссылки, естественным путем или с помощью закупки на бирже).

3. Поведенческие факторы ранжирования сайта. Поисковые системы начали отслеживать поведение пользователей на сайте и на основе этого поведения понимать, интересен ли ваш сайт людям, полезен ли он, нравится ли посетителям. Обращают внимание на: показатель отказов (чем он ниже – тем лучше), глубину просмотра, время на сайте. Подробнее об этом здесь https://adtimes.ru/povedencheskie-faktory-ranzhirovaniya-sajta-chto-eto-takoe-i-kak-ix-uluchshit/

4. Коммерческие факторы ранжирования сайта. Они важны в первую очередь для тех, кто ставит на продвижение в Яндексе. Коммерческие факторы определяют, насколько удобен ваш сайт для осуществления заказа или совершения покупки Подробнее можете прочесть здесь https://adtimes.ru/kommercheskie-faktory-ranzhirovaniya-i-chto-k-nim-otnositsya/

Исходя из всего вышесказанного, можно сделать один вывод: поисковые системы стараются работать так, чтобы показывать пользователю те сайты, которые дают максимально полный ответ на его запрос и уже заслужили определенный авторитет. При этом учитываются самые разные факторы: и содержание сайта, и его настройка, и отношение пользователей к нему. Хороший во всех отношениях сайт непременно займет высокое место на выдаче.

Что такое поисковая система, как работает поиск

Наиболее популярным веб сервисом современности является именно поисковая система. Тут всё объяснимо, ведь те времена, когда представители первых пользователей интернета могли наблюдать новинки в сети уже давным-давно ушли.

Информации появляется и скапливается так много, что человеку стало очень трудно найти именно ту, которая ему была бы необходима. Представьте, как бы обстоял бы поиск в интернете, если бы рядовому пользователю пришлось бы искать информацию не пойми где. Именно не пойми где, потому как ручным поиском много информации не найдёшь.

Поисковая система, что это такое?

Хорошо если пользователю уже известны сайты, на которых возможно есть нужная информация, но что делать в противном случае? Для того, чтобы облегчить жизнь человеку в поиске нужной информации в интернете и были придуманы поисковые системы или просто поисковики. Поисковая система выполняет одну очень важную функцию, без которой интернет был бы не таким как мы его привыкли видеть – это поиск информации в сети.

Поисковая система – это специальный веб узел или по-другому сайт, который предоставляет пользователям по их запросам гиперссылки на страницы, сайтов, отвечающие на заданный поисковой запрос.

Если быть немного точнее, то поиск информации в интернете, осуществляющийся благодаря программно-аппаратному функциональному набору и веб интерфейсу для взаимодействия с пользователями.

Для взаимодействия человека с поисковой системой и был создан веб интерфейс, то есть видимая и понятная оболочка. Данный подход разработчиков поисковиков облегчает поиск многим людям. Как правило, именно в интернете осуществляется поиск при помощи поисковых систем, но также существуют системы поиска для FTP-серверов, отдельных видов товаров во всемирной паутине, либо новостной информации или же другие поисковые направления.

Поиск может осуществляться не только по текстовому наполнению сайтов, но и по другим типам информации, которые человек может искать: изображения, видео, звуковые файлы и т.д.

Как осуществляется поиск поисковой системой?

Сам поиск в интернете, ровно так же как просмотр веб сайтов возможен при помощи интернет обозревателя – браузера. Только после того, как пользователь задал свой запрос в строке поиска, осуществляется непосредственно и сам поиск.

Любая поисковая система содержит программную часть, на которой основан весь поисковой механизм, его называют поисковым движком — это программный комплекс и обеспечивающий возможность поиска информации. После обращению к поисковику, формирования человеком поискового запроса и ввода его в строку поиска, поисковая система генерирует страницу со списком результатов поиска, наиболее релевантные, по мнению поисковика тут располагаются выше.

Релевантность поиска – поиск наиболее отвечающих запросу пользователя материалов и расположение на них гиперссылок на странице выдачи с более точными результатами выше других. Само распределениерезультатов называется ранжированием сайтов.

Так как же поисковик подготавливает для выдачи свои материалы и как происходит поиск информации самим поисковиком? Сбору информации в сети способствует уникальный для каждой поисковой системы робот или по-другому бот, обладающий так же рядом других синонимов как краулер или паук, а саму работу системы поиска можно разделить на три этапа:

К первому этапу работы поисковой системы можно отнести сканирование сайтов в глобальной сети и сбор на свои собственные серверы копий веб страниц. Это образует огромное количество пока ещё не обработанной и не пригодной информации для поисковой выдачи.

Второй этап работы поисковика сводится к приведению в порядок полученной ранее, на первом этапе информации от сайтов. Производится такая сортировка, которая за наименьшее время будет благоприятствовать тому самому качественному поиску, которого собственно и ждут пользователи от поисковой системы. Этап называют индексацией, это значит, что страницы уже являются подготовленными к выдаче, а актуальная база будет считаться индексом.

Как раз третий этап и обуславливает поисковую выдачу, после приёма запроса от своего клиента, опираясь на ключевые или около ключевые слова, указанные в запросе. Это способствует отбору наиболее соответствующей запросу информации, и последующей её выдачи. Так как информации, очень и очень много, поисковая система выполняет ранжирование в соответствие со своими алгоритмами.
Лучшей поисковой системой считается та, которая сможет предоставить наиболее корректно отвечающий на запрос пользователя материал. Но и тут могут встречаться результаты, на которые повлияли люди, заинтересованные в продвижение своего сайта, такие сайты хоть и не всегда, но зачастую появляются в результатах поиска, но не на долго.

Хоть мировые лидеры уже во многих регионах определены, поисковые системы продолжаются развивать свой качественный, поиск. Чем качественней поиск они смогут предоставить, тем больше людей будут им пользоваться.

Как пользоваться поисковой системой?

Что такое поисковая система и как она работает уже понятно, но как ей правильно пользоваться? На большинстве сайтов всегда присутствует строка поиска, а рядом с ней находится кнопка Найти или Поиск. В поисковую строку вводится запрос, после чего нужно нажать кнопку поиска или же как это чаще бывает, нажать клавишу Enter на клавиатуре и за считанные секунды вы получаете результат запроса в виде списка.

А вот получить правильный ответ на запрос поиска, с первого раза удаётся не всегда. Для того, чтобы поиски желаемого не становились мучительными, необходимо правильно составлять поисковый запрос и следовать нижеописанным рекомендациям.

Составляем поисковый запрос правильно

Далее будут указаны советы по использованию поисковой системы. Следование некоторым хитростям и правилам при осуществлении поиска информации в поисковой системе даст возможность получить нужный результат гораздо быстрее. Следуйте данным рекомендациям:

1. Грамотное написание слов обеспечивает максимальное количество совпадений с искомым информационным объектом (Хоть современный поисковые системы уже научились исправлять орфографические ошибки, но данным советом пренебрегать не стоит).
2. Благодаря использованию синонимов в запросе, можно охватить более широкий поисковой диапазон.
3. Иногда изменение слова в тексте запроса может принести больший результат осуществляйте переформирование запроса.
4. Привносите в запрос конкретность, используйте точные вхождения фраз, которые должны определять главную суть поиска.
5. Экспериментируйте с ключевыми словами. Использование ключевых слов и словосочетаний может помочь определить главную суть, и поисковая машина выдаст более релевантный результат.

Так что такое поисковая система – это ни что иное, как возможность найти интересующую информацию и обычно совершенно бесплатно ей воспользоваться, чему-то научиться, что-то понять или сделать правильный для себя вывод. Многие уже не представляют своей жизни без голосового поиска, при котором текст не приходится набирать, свой запрос нужно всего лишь произнести, а устройством ввода информации тут является микрофон. Всё это свидетельствует о постоянном развитие поисковых технологий в интернете и необходимости в них.

Лекции Техносферы. 2 семестр. Современные методы и средства построения систем информационного поиска

Снова в эфире наша образовательная рубрика. На этот раз предлагаем ознакомиться с очередным курсом Техносферы, посвящённым информационному поиску. Цель курса — рассказать об основных методах, применяемых при создании поисковых систем. Некоторые из них представляют собой хороший пример смекалки, некоторые показывают, где и как может применяться современный математический аппарат. Преподаватели курса: Алексей Воропаев, Владимир Гулин, Дмитрий Соловьев, Игорь Андреев, Алексей Романенко, Ян Кисель.

Лекция 1. Введение в информационный поиск. Обзор архитектуры поисковых систем

Определение задачи информационного поиска. Примеры поисковых систем. Задачи, связанные с поиском информации. История развития поисковых систем. Логическая модель информационного поиска, его задачи. Принципы булева поиска. Матрица «термин-документ». Обратный индекс. Словарь и координатные блоки. Создание обратного индекса. Разбиение на токены и сортировка. Словари и координатные блоки.

Лекция 2. Лингвистика

Что такое лингвистика, каковы её задачи. История зарождения и развития лингвистики как науки. Задачи, решаемые лингвистикой, её разновидности. Общая лингвистика: фонетика, фонология, морфология, синтаксис, семантика, прагматика. Историческая лингвистика. Лингвистическая типология. Социолингвистика. Диалектология. Лексикография. Психолингвистика. Математическая лингвистика. Статистическая лингвистика. Подходы к языку: рационалистический и эмпирический. Морфология. Корпусная лингвистика. Конкорданс, законы Ципфа, поправки и формула Мандельброта.

Лекция 3. Основы обработки текста

Критерии документа, кодировки. Уровни лингвистического анализа. Токены и термины. Детекция языка: графематический, N-граммный и лексический подходы. Нормализация. Проблемы токенизации. Наличие и отсутствие пробелов. Китайский, японский, арабский языки. Ударение и диакритика. Классы эквивалентности. Понижение регистра. Стоп-слова. Лемматизация. Стемминг. Предиктор. Виды языков. Статистическое снятие омонимии. Разбиение текста на предложения. Расширение поискового запроса.

Лекция 4. Коллокации

Методы подсчёта вероятности: параметрический и непараметрический подходы, стандартные и биноминальные распределения, мультиноминальное и нормальное распределения, аппроксимирование. Байесовский подход к статистике. Определение коллокаций, их признаки. Частотность биграмм. Фильтр по частям речи. Отклонения, гистограммы отклонений. Поиск коллокаций, примеры применения t-критерия. Поиск отличий в словоупотреблении. Критерий Пирсона. x²-критерий. Критерий отношения правдоподобия. Относительные частоты. Взаимная информация. Разреженность данных. F-мера.

Лекция 5. Языковые модели. N-граммы. Цепи Маркова

Цели распознавания языка. Языковые модели. Поиск с использованием языковых моделей. Фундаментальная проблема нехватки данных. Построение N-грамм. Метод максимального правдоподобия. Сглаживание. Валидация моделей. Линейное смешение моделей. Цепь Маркова. Матрица переходов. Последовательность состояний. Скрытые марковские модели. Три задачи HMM. Алгоритмы вперёд и назад. Алгоритмы Витерби, Баума-Уэлша. Применение НММ Таггер. Анализ поведения пользователя.

Лекция 6. Машинный перевод

Определение и задачи машинного перевода. История развития машинного перевода. Подходы к машинному переводу: rule-based, corpora-based, hybrid. Три основные методологии. RBMT, его сравнение с SMT, их преимущества и недостатки. Параллельный корпус. Выравнивание по предложениям. Word-based модели. Модели IBM Model, их ограничения. Фразовые модели: фразовый статистический перевод, вычисление вероятности перевода, модель языка, модель перевода, построение фразовой таблицы. Декодирование. Оценка машинного перевода. BLEU (Bilingual evaluation understudy). Эволюция машинного перевода.

Лекция 7. Индексация

Общая схема базы поиска. Назначение обратного индекса. Технические ограничения и дисковая подсистема. Cостав обратного индекса и варианты его построения. Оптимизация пересечения блоков. Сжатие координатных блоков: сравнение побитовых и побайтовых подходов: код Фибоначчи, VarByte, гамма-коды, Simple9. Практические советы по уменьшению объема индекса. Структуры данных, используемые для построения словаря. Подходы к хранению стоп-слов. Проблемы индексации больших объемов. Распределение документов и балансировка баз. Архитектура индексатора.

Лекция 8. Архитектура web-поиска. Текстовое ранжирование

Логическая схема поисковой машины. Поисковый кластер. Индексация. Булев поиск. Вычисление веса. Коэффициент Жаккара. Частотная матрица. Модель «мешка слов». Частота термина. Логарифмическое взвешивание. Документная частота. IDF. Документы как векторы. Методы оптимизации текстового ранжирования. Термины с большим IDF. Документы с большим количеством терминов из запроса. Статические веса, общий вес. Эшелоны. Кластеризация индекса. Параметрические индексы и зоны. Поля (числовые зоны). Индексы для зон. Компактность вхождения. Вероятностный поиск. Использование языковых моделей при поиске. Варианты сравнения моделей. Правдоподобие запроса и документа. Сравнение моделей. Обратная связь по релевантности. Бинарная вероятностная модель. Байесовы сети в задаче ранжирования.

Лекция 9. Дизайн поисковой выдачи. Сниппеты. Оценка качества поиска

Примеры дизайнов страниц поисковых выдач разных ресурсов. Компоненты SERP. Органические результаты. Выделение параграфов. Разбиение на предложения. Формирование сниппета, общий алгоритм формирования. Обогащение сниппетов. Метрики сниппетов. Оценка асессорами. Метрики качества поисковой системы. Качество поиска. Стандартные коллекции. TREC. Точность/полнота. Критика чистой релевантности. Маркерные тесты. Поиск периферийных сайтов. Региональная навигация. Тематический поиск. Общее качество поиска. Асессорская служба. Оценка релевантности документа. Кросс-валидация. SOM-карты. Автопоиск ошибок. Онлайн-метрики. Оценка гипотез. Кликовые метрики. Корреляция с асессорами.

Лекция 10. Особенности web-поиска. Спайдер

Популярность пользования поиском. История поисковых систем. Основы web-поиска. Потребности пользователей. Эмпирическая оценка поисковых результатов пользователем. Коллекция web-документов. Поисковая реклама, как она ранжируется, каковы её плюсы и минусы. Спайдер, его задачи. Очередь URL’ов. Поисковые роботы. Основная архитектура спайдера. Парсинг: нормализация URL. Распределённый спайдер. Взаимодействие серверов. Схема Mercator. Front queues, back queues. Свежесть базы. Deep Web (труднодоступные сайты). Карты сайтов. Хранение документов. Удаление шума.

Лекция 11. Поиск дубликатов в Web

Сравнение документов: точные и неточные дубликаты, почти дубликаты, версии для печати. Три этапа определения похожих документов. Шинглы (shingles), опция сжатия. Множественная модель, матричная модель. Поиск похожих колонок. Сигнатуры. Выявление похожего множества (minhashing). Поиск похожих пар. Отбор кандидатов из сигнатур Minhash. Locality-sensitive hashing. Распределение по частям и по корзинам. LSH-компромиссы. Поиск дубликатов в Web.

Лекция 12. Применение самоорганизующихся карт в поисковой машине

Лекция разбита на две части. Первая часть: вопросы приоритезации спайдера поисковой машины, алгоритмы сегментации больших сайтов на части и распределение приоритетов обкачки сегментов. Вторая часть: алгоритмы анализа и визуализации больших объемов данных при помощи самоорганизующихся карт Кохонена (SOM), применение этого инструмента в задаче анализа структуры веба и приоритезации поискового робота, возможность применения SOM для анализа данных в различных областях разработки поискового движка.

Лекция 13. Выявление спам-сайтов на основе анализа контента страниц

Различные аспекты очистки поискового индекса от мусора. Вопросы построения классификаторов. Базовые темы машинного обучения: правильное построение обучающего множества, генерация признаков, выбор алгоритмов классификации. Проблематика построения классификаторов для различных классов данных.

Лекция 14. Поведенческое и ссылочное ранжирование

Вычисление поведенческой релевантности. Индексация анкорного текста. Алгоритм HITS, Page Rank. Метод блочной структуры. Системы для обработки графов.

Лекция 15. Ранжирование с машинным обучением

Классическое ранжирование. Факторы ранжирования. Ранжирование на основе машинного обучения. Специфика задачи машинного обучения ранжированию. Формальная постановка задачи. Градиентный спуск. Деревья решений. «Невнимательные» деревья решений. Алгоритмические композиции над деревьями решений (bagging, boosting). Стакинг. Алгоритм BagBoo. Вопросы построения обучающих данных. Активное обучение. Сэмплирование неопределённости. Комитетные методы активного обучения. Применение самоорганизующихся карт для сэмплирования обучающих данных. Алгоритм SOM+QBag для активного обучения ранжированию.

Предыдущие выпуски

Технопарк:

Техносфера:

Подписывайтесь на youtube-канал Технопарка и Техносферы!

Разновидности поисковых систем в интернете: простыми словами о сложном

Здравствуйте, дорогие читатели! С вами Екатерина Калмыкова. Сегодняшняя статья будет посвящена такому понятию, как поисковая система, что это такое, для чего она нужна. Также мы подробно рассмотрим разновидности поисковых систем в интернете.

Если у вас возник вопрос: «Зачем мне знать про эти поисковые системы?», то я отвечу так. Когда вы едите вкусный суп в ресторане, хотелось бы вам знать, из каких ингредиентов он приготовлен, чтобы повторить его самостоятельно дома? Ведь если вас устраивает конечный результат, то есть вкус супа, то наверняка вам интересно было бы узнать, что привело к такому результату?

Также можно сказать и про работу с поисковой системой (ПС). Если вы в будущем создадите свой блог, то зная работу ПС вам не придется обращаться за помощью к специалистам. Вы сможете самостоятельно вести таким образом свой проект, чтобы поисковая система его видела и показывала другим пользователям. Ведь именно от этого будет зависеть посещаемость вашего ресурса и соответственно заработок.

Итак, приступим.

Что такое поисковая система?

Поисковая система  — это специальный ресурс в Интернете, который выдает информацию пользователю в соответствии с его запросом. То есть этот ресурс собирает все данные в глобальной сети, все веб-проекты и при поступлении от пользователя определенного запроса выдает необходимую искомую информацию путем направления его, например, на тематический блог или сайт.

Таким образом, после создания своего проекта ваша задача будет попасть в выдачу, то есть в «список» или базу поисковой системы. Поскольку продвижение сайта в интернете просто не возможно без использования какой-либо поисковой системы, поэтому вам необходимо будет позаботиться о качестве своего ресурса, о внутренней и внешней его оптимизации. Как это сделать мы поговорим в следующих статьях. Так что подпишитесь, чтобы не пропустить.

А пока, если вы решили создать свой блог, то рекомендую прочитать вот эти статьи:

Поскольку новые веб-ресурсы появляются практически каждый день, то соответственно и база поисковых систем должна постоянно обновляться. Каждый вновь созданный сайт должен проиндексироваться роботом. Говоря простыми словами, помощники ПС – роботы должны познакомиться с новым ресурсом и передать эти данные самой поисковой системе.

Ну, тут вы, наверное, догадались, что при посещения вашего блога роботом ему все должно понравиться. От этого гостя и будет зависеть ваша дальнейшая судьба.

Как сделать, чтобы робот от вашего проекта остался в полном восторге я расскажу в одной из следующих статей. Не пропустите, будет интересная и весьма любопытная информация, которой я с вами поделюсь.

Работа поисковых систем

Вся работа, связанная с ПС, начинается с ввода искомого запроса в поисковой строке. Что могут искать пользователи? Да что угодно, начиная от рецепта пирожков с капустой и заканчивая извечным вопросом «как заработать денег побольше ничего не делая».

Чтобы именно ваш ресурс выходил в качестве ответа на вопрос, необходимо опережать своих конкурентов. Для этого и нужно обратить особое внимание на продвижение своего проекта, куда входят такие мероприятия как написание качественного оптимизированного контента, то есть отвечающего на запросы статьи, улучшение поведенческого фактора, то есть чтобы вашему читателю было интересно находится на ресурсе, это улучшение юзабилити, то есть удобство посетителя и многие другие факторы. Это мы все научимся с вами делать.

Компоненты поисковых систем

А что же помогает поисковикам, например, тому же Гугл индексировать ваш ресурс? 

1. Агенты — это работники, выполняющий основную часть работу — индексируют и анализируют сайты.
2. Пауки (spider) – программа, которая может скачивать страницы веб-ресурса и собирать общую информацию о нем.
3. Кроулеры (crawler) – программа, отыскивающая все ссылки на страницах, переходя по которым разыскивает новые данные не знакомые поисковикам.
4. Индексатор (indexer) – анализирует текст, заголовки, стиль и др.
5. Роботы  — индексируют страницы вашего контента, а также изучают разнообразные ссылки.

Для того чтобы индексация происходила так, как нужно вам вы и создаете специальный документ «robots.txt». Он позволяет системе проверять только те страницы, которые вам нужно, и убирать то, что видеть не следует.

Виды поисковых систем

Существуют несколько вариантов информационно — поисковых систем:

• Каталоги. Простое сравнение поиска – это книжная полка в библиотеке. Там все хранится в подкатегориях и категориях определенной тематики. Если вы попали в такой поисковик, то поверьте, информация, которую вы там найдете, будет более чем полезна и понятна для вашего восприятия. Догадались о каком распространенном сайте идет речь? Конечно же о википедии, которая собрала в себе целый справочник полезной информации.
• Поисковые указатели. Поиск в данных осуществляется за счет ключевых фраз. Это и удобно и неудобно одновременно. Думаю, меня поймут те люди, которые ищут, например, «Девушка показывает класс», чтобы найти как девушка показывает большой палец вверх, а в поиске вылезает что-то не очень приличное. 🙂 Такой вид поиска характеризирует большую часть поисковых систем.
• Рейтинговые системы. Определяют вашу популярность за счет количества посещений. Конечно, не самый лучший критерий, так как не всегда учитывается полезность и качественность самого ресурса. Пример такой системы – это интернет ресурс alexa.com.

Поисковые сервера подразделяются также на общие и специализированные. Общие поисковики сортируют информационные данные без всякого отбора по всем известным им веб-ресурсам. К ним относятся Яндекс, Рамблер, Гугл. Специализированные  — осуществляют сортировку по используемому языку.

Также поисковые системы могут делиться на региональное и мировое распространение.

На сегодняшний день все поисковики постоянно совершенствуют свои алгоритмы по отбору качественных, релевантных ресурсов.

Немного истории

В Рунете ПС появились в 1996 года – это Апорт и Рамблер. Годом позже в 1997 году образовался Яндекс, а еще годом позже в 1998 году появился еще один конкурент – Google. В настоящий момент наиболее популярные – это Яндекс и Google.

Какие же поисковики сейчас наиболее популярны?

Приведем статистику:

Как вы видите, сейчас в России наибольшей популярностью пользуется Яндекс, наряду с Гугл и Мэйл.

Таким образом, вы можете увидеть топ поисков, на которые вам следует ориентироваться при создании и продвижении своего проекта.

Поисковая система Яндекс (Yandex)

Принцип работы следующий: в поисковую строку вводите искомый запрос, нажимаете «Найти» и смотрите выдачу. Яндекс подобрал вам 13 млн. ответов на ваш запрос. Искать можно также в картинках, видео, маркете (смотрим левую колонку).

Дополнительно вы можете настроить регион для поиска. Для этого необходимо в строке поиска нажать на значок рядом с крестиком и в окне фильтра выбрать нужный регион.

Поисковая система Гугл (Google)

Гугл работает по аналогии с Яндекс. Искать информацию можно в разных разделах: картинки, видео, новости, карты и т.д.

Если вы нажмете на «Инструменты поиска», то откроется панель с настройками, где вы можете выбрать регион, язык и за какое время осуществить поиск информации.

Теперь вы знаете, какие системы поиска существуют в интернете, также вы увидели самые популярные из них, и теперь, вооруженные информацией вы можете налаживать свои связи и взаимодействие с поисковиками.

На сегодня все. Как Вам статья?

Всем пока.

Советую подписаться на обновление блога, чтобы не пропустить выход свежих новостей.

Екатерина Калмыкова

Работа поисковых систем: общие принципы работы поисковиков

Вступление

Каждая поисковая система имеет свой алгоритм поиска запрашиваемой пользователем информации. Алгоритмы эти сложные и чаще держатся в секрете. Однако общий принцип работы поисковых систем можно считать одинаковым. Любой поисковик:

• Сначала собирает информацию, черпая её со страниц сайтов и вводя её в свою базы данных;
• Индексирует сайты и их страницы, и переводит их из базы данных в базу поисковой выдачи;
• Выдает результаты по поисковому запросу, беря их из базы проиндексированных страниц;
• Ранжирует результаты (выстраивает результаты по значимости).

Работа поисковых систем — общие принципы

Вся работа поисковых систем выполняют специальные программы и комбинации этих программ.

Перечислим основные составляющие алгоритмов поисковых систем:

• Spider (паук) – это браузероподобная программа, скачивающая веб-страницы. Заполняет базу данных поисковика.
• Crawler (краулер, «путешествующий» паук) – это программа, проходящая автоматически по всем ссылкам, которые найдены на странице.
• Indexer (индексатор) – это программа, анализирующая веб-страницы, скачанные пауками. Анализ страниц сайта для их индексации.
• Database (база данных) – это хранилище страниц. Одна база данных это все страницы загруженные роботом. Вторая база данных это проиндексированные страницы.
• Search engine results engine (система выдачи результатов) – это программа, которая занимается извлечением из базы данных проиндексированных страниц, согласно поисковому запросу.
• Web server (веб-сервер) – веб-сервер, осуществляющий взаимодействие пользователя со всеми остальными компонентами системы поиска.

Реализация механизмов поиска у поисковиков может быть самая различная. Например, комбинация программ Spider+ Crawler+ Indexer может быть создана, как единая программа, скачивающая и анализирующая веб-страницы и находящая новые ресурсы по найденным ссылкам. Тем не менее, нижеупомянутые общие черты программ присущи всем поисковым системам.

Программы поисковых систем

Spider

«Паук» скачивает веб-страницы так же как пользовательский браузер.  Отличие в том, что браузер отображает содержащуюся на странице текстовую, графическую или иную информацию, а паук работает с html-текстом страницы напрямую, у него нет визуальных компонент. Именно, поэтому нужно обращать внимание на ошибки в html кодах страниц сайта.

Crawler

Программа Crawler, выделяет все находящиеся на странице ссылки. Задача программы вычислить, куда должен дальше направиться паук, исходя из заданного заранее, адресного списка или идти по ссылках на странице. Краулер «видит» и следует по всем ссылкам, найденным на странице и ищет новые документы, которые поисковая система, пока еще не знает. Именно, поэтому, нужно удалять или исправлять битые ссылки на страниц сайта и следить за качеством ссылок сайта.

Indexer

Программа Indexer (индексатор) делит страницу на составные части, далее анализирует каждую часть в отдельности. Выделению и анализу подвергаются заголовки, абзацы, текст, специальные служебные html-теги,  стилевые и структурные особенности текстов, и другие элементы страницы. Именно, поэтому, нужно выделять заголовки страниц и разделов мета тегами (h2-h5,h5,h6), а абзацы заключать в теги <p>.

Database

База данных поисковых систем хранит все скачанные и анализируемые поисковой системой данные. В базе данных поисковиков хранятся все скачанные страницы и страницы, перенесенные в поисковой индекс. В любом инструменте веб мастеров каждого поисковика, вы можете видеть и найденные страницы и страницы в поиске.

Search Engine Results Engine

Search Engine Results Engine это инструмент (программа) выстраивающая страницы соответствующие поисковому запросу по их значимости (ранжирование страниц). Именно эта программа выбирает страницы, удовлетворяющие запросу пользователя, и определяет порядок их сортировки. Инструментом выстраивания страниц называется алгоритм ранжирования системы поиска.

Важно! Оптимизатор сайта, желая улучшить позиции ресурса в выдаче, взаимодействует как раз с этим компонентом поисковой системы. В дальнейшем все факторы, которые влияют на ранжирование результатов, мы обязательно рассмотрим подробно.

Web server

Web server поисковика это html страница с формой поиска и визуальной выдачей результатов поиска.

Повторимся. Работа поисковых систем основана на работе специальных программ. Программы могут объединяться, компоноваться, но общий принцип работы всех поисковых систем остается одинаковым: сбор страниц сайтов, их индексирование, выдача страниц по результатам запроса и ранжирование выданных страниц по их значимости. Алгоритм значимости у каждого поисковика свой.

©SeoJus.ru

Другие уроки SEO учебника

Похожее

Поисковые системы

Основные поисковые системы

На заре
своего существования Интернет еще не обладал большим объемом информации.
Количество пользователей Сетью было тоже совсем невелико. Однако со временем
возникла необходимость в оптимизации доступа к информации, содержащейся в
Интернете, благодаря чему в 1994 году на свет появился проект под названием
Yahoo. Данный проект подразумевал создание каталогов сайтов, в которых ссылки
на сайты были сгруппированы по различным темам. Однако этот проект еще совсем мало
был похож на современные поисковые системы. Первой поисковой системой в
привычном для нас понимании стала WebCrawler.

На
сегодняшний день основными мировыми поисковиками являются Google, Yahoo, MSN
Search.

В российском
Интернете этот список представлен следующими поисковыми системами: Яндекс,
Google, Mail.ru, Aport, Rambler, KM.ru.

Бесспорно,
самыми популярными из них являются Яндекс и Google.    

Структура поисковых систем

Различные
поисковые системы содержат одинаковый состав входящих в них основных элементов,
а именно, поле поиска, кнопка поиска, список найденных
результатов.

Структура
поисковой системы представлена комплексом следующих программ.

1. Робот spider (паук), целью которого является
   просмотр страниц сайтов, предназначенных для индексации.
2. Робот crawler (путешествующий
   паук). Его
   функция заключается в поиске новых и неизвестных системе ссылок и
   добавление их в список индексации.
3. Индексатор обрабатывает страницу очереди,
   стоящей на индексацию.
4. База данных хранит различную информацию
   необходимую для выведения результатов поиска.
5. Система обработки запросов и
   выдачи результатов. Алгоритм ее работы сводится к следующему: во-первых, принять от
   пользователя запрос на поиск какой-либо информации, во-вторых, обратиться
   с этим запросом к базе данных, в-третьих, вывести пользователю полученный
   результат.

Фильтры поисковых систем

Рассмотрим
отдельно фильтры, применяемые поисковой системой Google и системой Яндекс.
Однако следует понимать, что такое разграничение имеет весьма зыбкие границы,
так как в той или иной степени большинство из нижеперечисленных фильтров
частично присутствует в каждой из этих двух поисковых систем.

Фильтры,
предусмотренные системой Google.

1. Фильтр “Песочница” (Sandbox). Под этот фильтр попадают все
   новые сайты и могут находиться, в так называемой “песочнице”, от трех
   месяцев до нескольких лет. Страницы таких новообразованных сайтов не
   выводятся в результатах поиска по высокочастотным запросам. Однако по
   запросам с низкой частотностью могут выдаваться поисковой системой. Одной
   из особенностей этого фильтра является то, что сайты из “песочницы”
   выводятся не по отдельности, а целыми группами. Достаточно быстрый вывод
   сайта из “песочницы” может быть обеспечен благодаря большому количеству
   ссылок на этот интернет-ресурс.
2. Фильтр “Дополнительные
   результаты”. Те
   страницы сайта, которые попали под данный вид фильтра, будут выводиться в
   результатах поиска только лишь в тех случаях, когда не будет хватать
   основных, так называемых,  “хороших” страниц.
3. Фильтр “Bombing”. Под этот фильтр сайты попадают
   по причине неуникальности анкоров в ссылках.
4. Фильтр “Bowling”. Опасность попадания сайтов под
   этот тип фильтров может угрожать исключительно интернет-ресурсам,
   TrustRunk которых низкий. Попадание сайта под этот фильтр может быть
   умышленно спровоцировано конкурентами.
5. Фильтр “Возраст домена”. Причина попадания под фильтр –
   недоверие поисковой системы новым доменам.
6. Фильтр “Дублирующийся контент”. Для сайта очень важно наличие
   на своих страницах уникального контента. Если на интернет-ресурсе
   используется большое количество краденой информации, то есть скопированной
   с других ресурсов, то сайт окажется под данным фильтром.
7. Фильтр-30. Этот фильтр получил свое
   название благодаря тому, что понижает сайт на тридцать позиций в том
   случае, если на веб-ресурсе применяются черные методы продвижения (дорвеи,
   редиректы с помощью JavaScript).
8. Фильтр “Опущенные результаты”. Сайт может оказаться под
   фильтром из-за скопированного с других ресурсов контента, из-за
   недостаточного числа входящих ссылок, дублирующихся заголовков и других
   meta-тегов. Кроме того, дополнительной причиной может являться
   недостаточная внутренняя перелинковка страниц сайта.  
9. Фильтр “Социтирование”. Причиной действия этого
   фильтра на интернет-ресурс может являться то, что на него ссылаются сайты
   совершенно иной тематики.
10. Фильтр “Links”. Чтобы избежать действия
    данного фильтра, не следует заводить у себя на сайте страницу,
    предназначенную для обмена ссылками с партнерами. Это не поможет повысить
    сайт в результатах выдачи поисковой системы, а только нанесет вред.
11.  Фильтр “Много ссылок
    сразу”. Чтобы миновать данный фильтр, необходимо воздержаться от
    приобретения для сайта большого количества ссылок за достаточно короткий
    период времени.
12. Фильтр “Чрезмерная оптимизация”. Причина попадания сайта под
    фильтр является использование на нем чрезмерного количества ключевых фраз
    с высокой степенью плотности.
13. Фильтр ”Битые ссылки”. Избежать действия фильтра
    можно при условии, что ссылки не будут вести на страницы, которых не существует.
14. Фильтрация страниц по времени
    загрузки. Как
    уже понятно из названия, фильтрация в данном случае обусловлена слишком
    долгой загрузкой страницы.
15. Общий фильтр “Степень доверия”
    (Google Trust Rank). Фильтр учитывает такие факторы, как качество перелинковки, число
    исходящих ссылок, количество и авторитетность входящих ссылок, возраст
    домена и др. Для повышения позиций сайта в выдаче поисковой системы
    необходимо повышать Trust Rank.

Фильтры,
предусмотренные системой Яндекс.

1. АГС. Благодаря этому фильтру из
   поисковой системы исключаются сайты, предназначение которых заключается в
   поисковом спаме.
2. Непот-фильтр. Интернет-ресурс может
   пострадать от этого фильтра за ведение торговли ссылками с сайта, из-за
   чего сайт засоряется большим количеством таких ссылок.
3. Редирект фильтр. Этот фильтр наказывает сайты
   за применение javascript редиректов.
4. Фильтр плотности ключевых слов. Чтобы избежать действия
   фильтра, необходимо избегать чрезмерной концентрации ключевых слов и фраз
   на сайте.
5. Фильтр “Ты последний”. Причина действия фильтра лежит
   в обнаружении поисковой системы дубля страницы.

Принципы ранжирования в поисковых системах

Ранжирование
– это вывод сайтов на страницах поисковых систем в определенной
последовательности в ответ на какой-либо запрос пользователя. Принято выделять
внутренние и внешние принципы ранжирования. Рассмотрим каждую группу по
отдельности.

Внутренние
принципы ранжирования. Внутренние принципы ранжирования подчинены действиям владельца сайта. Они
учитывают:

• объем информации на странице
  сайта;
• количество, плотность и
  расположение ключевых слов и фраз на странице интернет-ресурса;
• стилистику представленного на
  странице текста;
• наличие ключевых слов в теге
  Title и в ссылках;
• содержание ключевых слов в
  мета-тегах Description;
• общее количество страниц сайта.

Внешние
принципы ранжирования учитывают:

• Индекс цитирования (оценивает
  популярность сайта).
• Ссылочный текст (внешние
  ссылки, которые ведут на сайт).
• Релевантность ссылающихся
  страниц (оценка информации ссылающейся страницы).
• Google PageRank (теоретическая
  посещаемость страницы).
• Тематический индекс цитирования
  Яндекс (авторитетность сайта относительно других близких ему
  интернет-ресурсов).
• Добавление информации о сайте
  (самбит) в каталоги общего назначения, каталог DMOZ, Каталог Яндекса.
• Обмен ссылками между сайтами.

Таким
образом, мы представили некоторую информацию, касающуюся специфики работы
поисковых систем. Однако следует учесть тот факт, что алгоритм их работы
претерпевает различные изменения, поэтому информация о поисковых системах
является весьма динамичной и требует постоянного анализа со стороны
seo-специалистов.

Система поиска устройств

Можно сканировать весь Интернет в поисках устройств и сетевых компонентов. Но не все так просто. Если вы хотите получить более подробную информацию об этом, посмотрите эти материалы Fyodor — Nmap: Scanning The Internet. Интересно, правда?

Сегодня проще. Существует несколько поисковых систем, которые позволяют каждому искать компьютеры, принтеры, видеомагнитофоны, NAS-серверы и любые другие устройства, подключенные к Интернету. Если эти устройства неправильно настроены, вы даже можете получить к ним доступ.Но этого делать нельзя, это более или менее незаконно.

Принцип работы прост. Веб-сайт сканирует Интернет в поисках общедоступных устройств и отображает результаты.

Основными пользователями этих систем являются профессионалы в области кибербезопасности, исследователи и правоохранительные органы, а также киберпреступники.

Вот список поисковых систем устройств.

Shodan

Shodan — первая в мире поисковая система для устройств, подключенных к Интернету.

https://www.shodan.io/

Здесь можно найти интересный способ отображения данных из Shodan https://2000.shodan.io/

Shodan имеет собственный интерфейс командной строки. Также есть интересный инструмент SearchDiggity, использующий Shodan Api.

Пример использования:

Найдите серверы Apache в Нью-Йорке:

Найдите серверы Nginx в Германии:

Найти устройства Cisco в определенной подсети:

 1 
 

 сеть Cisco: «216.219.143.0 / 24 "
 

Основные фильтры поиска, которые вы можете использовать:

• город : найти устройства в конкретном городе
• страна : найти устройства в конкретной стране
• geo : можно передать координаты
• имя хоста : найти значения, соответствующие имени хоста
• net : поиск по IP или / x CIDR
• os : поиск по операционной системе
• порт : найти определенные открытые порты
• до / после : найти результаты за период

CenSys

Censys — это платформа, которая помогает специалистам в области информационной безопасности обнаруживать, отслеживать и анализировать устройства, доступные из Интернета.

https://censys.io/

Пример использования:

Поиск хостов с заголовком HTTP-сервера «Apache» в Германии

 1 
 

 80.http.get.headers.server: Apache и location.country_code: DE 
 

Хосты Telnet и FTP в Германии:

 1 
 

 location.country_code: DE и протоколы: («23 / telnet» или «21 / ftp») 
 

ZoomEye

ZoomEye — поисковая система в киберпространстве, записывающая информацию об устройствах, веб-сайты, сервисы и компоненты и т. д.

https://www.zoomeye.org/

Пример использования:

Поиск по приложению:

 1 
 2 
 

 app: имя приложения 
 ver: номер версии 
 

Поиск по местоположению:

 1 
 2 
 

 страна: код страны (например: UK, IT, ES, FR, CN, JP ..) 
 city: название города 
 

Поиск по порту:

Поиск по ОС:

 1 
 

 os: имя операционной системы (например, os: linux) 
 

Поиск по службе:

Поиск по имени хоста:

 1 
 

 имя хоста: имя хоста (например, имя хоста: google.com) 
 

Поиск по IP-адресу:

 1 
 

 ip: ip-адрес (например, ip: 8.8.8.8) 
 

Поиск по CIDR:

 1 
 

 cidr: сегмент cidr (например, cidr: 8.8.8.8/24) 
 

Поиск по сайту:

 1 
 

 site: доменное имя (например site: google.com) 
 

Поиск по заголовкам HTTP:

 1 
 

 заголовки: заголовки в HTTP-запросе 
 

Поиск по ключевым словам SEO:

 1 
 

 ключевые слова: ключевые слова, определенные внутри  
 

Поиск по описанию:

 1 
 

 desc: description внутри  
 

Поиск по названию:

 1 
 

 title: title внутри