Семальт Исламабад Эксперт: Топ 10 самых популярных веб-сканеров и ботов
В интернете есть два типа ботов, которые называются хорошими и плохими ботами. Вы должны принять серьезные меры против плохих ботов, поскольку они могут быстро использовать пропускную способность DDN. Кроме того, негативные или плохие боты крадут ваш веб-контент и занимают ресурсы сервера. С другой стороны, с хорошими ботами (также называемыми поисковыми роботами) следует обращаться осторожно, поскольку они помогают индексировать ваш сайт в результатах поисковых систем , таких как Bing, Google и Yahoo.
Майкл Браун, ведущий эксперт из Семальта , уверяет, что в Интернете есть сотни и тысячи ботов и сканеров, но следующие наиболее популярны.
1. GoogleBot
Робот Googlebot - один из лучших и самых известных сканеров на сегодняшний день. Он широко используется для индексации веб-контента и статей для результатов поиска Google. Лучшая особенность Googlebot - это то, что он предоставляет пользователям множество инструментов и опций. В частности, Googlebot сообщает Google, какие страницы нужно проиндексировать, а какие оставить.
2. Бингбот
Как и Googlebot, Bingbot - это популярный сканер веб-сайтов от Microsoft. Он существует уже много лет и предназначен для индексации сайтов в результатах поиска Bing. Bingbot - идеальная замена для бота MSN. Его наиболее известная опция называется Fetch как Bingbot, которая присутствует в Bing Webmaster Tools. Этот параметр позволяет запрашивать страницы, которые будут проиндексированы и показаны в результатах Bing.
3. Slurp Bot
Slurp Bot является поисковым роботом Yahoo, но работает на Bing. Веб-сайты должны позволять Yahoo Slurp получать доступ к своим страницам для отображения в результатах поиска Yahoo Mobile. Этот веб-сканер используется для сбора контента с партнерских сайтов для включения в Yahoo News, Yahoo Sports и Yahoo Finance.
4. DuckDuckBot
DuckDuckBot - известный и лучший веб-сканер DuckDuckGo. Эта поисковая система известна своей конфиденциальностью и не отслеживает пользователя без его разрешения. В среднем он обрабатывает десять миллионов запросов каждый день. DuckDuckGo получает результаты из более чем 400 источников, в том числе из нескольких вертикальных источников, которые предоставляют ответы, связанные с мгновенными ответами, Wikipedia и DuckDuckBot. Он также обрабатывает запросы, поступающие из таких источников, как Яндекс, Bing и Yahoo.
5. Baiduspider
Baiduspider - это официальное название поискового робота или паука китайской поисковой системы. Он может индексировать множество веб-страниц каждый день и возвращает обновления в свой индекс Baidu. Baidu - одна из ведущих китайских поисковых систем. На его долю приходится более восьмидесяти процентов всех поисковых рынков материкового Китая.
6. Яндекс Бот
Яндекс.Бот - это специальный поисковый робот российской поисковой системы Яндекс. СМИ утверждают, что этот бот генерировал более 57% всего трафика с поисковых систем в России в течение 2015 года.
7. Паук Согоу
Sogou Spider - известный веб-сканер Sogou.com. Эта ведущая китайская поисковая система была запущена в 2004 году и имеет рейтинг 103 на Alexa. Следует помнить, что веб-паук Sogou никогда не соблюдает интернет-стандарты robot.txt и запрещен на различных сайтах из-за чрезмерного сканирования.
8. Exabot
Этот веб-сканер управляется французской поисковой системой Exalead. Он был основан несколько лет назад и насчитывает более шестнадцати миллиардов веб-страниц, проиндексированных в результатах поиска.
9. Внешний хит Facebook
Социальный медиа-гигант Facebook позволяет своим пользователям делиться интересными ссылками с другими пользователями Facebook. Внешний хит Facebook выполняет множество функций, включая отображение нескольких изображений, некоторых захватывающих видео и нескольких веб-страниц. Один из главных и известных роботов для сканирования - Facebot, который помогает повысить эффективность рекламы.
10. Алекса Кроулер
Alexa Crawler работает под управлением Alexa Amazon и используется для индексирования десятков веб-страниц. Он собирает информацию о веб-сайтах и ранжирует их на основе местных и международных предпочтений.
Финальная нота
Существуют различные поисковые роботы и боты, поэтому, когда вы блокируете подозрительный веб-сайт, убедитесь, что вы не блокируете хороших ботов, которые индексируют ваши веб-страницы в результатах поисковой системы.