Анализируя поведение пользователей на нашем блоге, наткнулся на частое мелькание американских посетителей. Главной особенностью всех посещений является нулевое время проведения на сайте и , в следствии, увеличение числа отказов. Давайте разберёмся, откуда ноги растут и что нам с этим делать.
Сначала просто не обращал на это внимание, пока в один прекрасный день эти американские гости не сделали мне почти 70% отказов, при этом чуть не обрушив сайт во время своего посещения. Это был решающий толчок, чтобы наконец разобраться с недружелюбными посетителями.
Поискав немного в интернете, оказалось, что я не одинок в такой беде. Очень многие ресурсы страдают от таких посещений в последнее время. Главным врагом оказался робот от компании Amazon под названием HubSpot Webcrawler. Решил проверить и я логи нашего сайта во время большого нашествия американского иго. О чудо! Наш сайт стал гостеприимным хозяином для Амазонского бота. Руки бы оторвать разработчикам за сие чудо поискового прогресса.
Всё бы ничего, но Яндекс ведь показывает этого робота как посетителя и учитывает его при составлении общей статистики сайта. А значит, нам нужно как-то бороться с юродивым гостем. Нельзя допускать понижения поведенческих факторов, ведь это в результате приведёт к занижению позиций сайта.
С логов удалось вытащить ряд IP-адресов, с которых шли нулевые посещения. В нашем случае целесообразно будет создать черный список ай-пи адресов, которых мы не желаем видеть у нас в гостях. Сделать это можно, добавив запись в файл .htaccess:
## USER IP BANNING <Limit GET POST> order allow,deny deny from 54.89.43.14 deny from 54.87.87.177 deny from 54.87.225.37 deny from 54.87.163.131 deny from 54.83.86.155 deny from 54.83.74.76 deny from 54.83.139.190 deny from 54.242.89.161 deny from 54.242.5.14 deny from 54.235.29.171 deny from 54.227.84.133 deny from 54.227.158.54 deny from 54.226.254.1 deny from 54.225.31.70 deny from 54.205.188.107 deny from 54.205.18.108 deny from 54.205.112.217 deny from 54.198.86.170 deny from 54.167.4.246 deny from 54.81.84.133 deny from 50.16.2.54 deny from 23.22.145.240 deny from 23.20.131.219 deny from 107.20.19.114 deny from 107.20.108.181 deny from 109.74.1.174 deny from 107.20.202.46 deny from 198.27.82.153 deny from 144.76.95.231 deny from 174.37.205.76 deny from 66.249.81.62 deny from 66.155.8.207 deny from 66.249.66.7 deny from 66.249.93.62 allow from all </Limit>
В этот список советую занести все IP адреса, с которых заходил бот. Это в дальнейшем предотвратит появление нулевых посещений с данных адресов, уменьшив общий показатель отказов.
PS. Если вы тоже столкнулись с этой проблемой и можете дополнить мой список адресов, пишите в комментариях. Так же подписывайтесь на обновления — лучший способ благодарности для автора статьи 🙂
У меня одно время зачастил робот с Фэйсбука, он безобидный, но отказы приносил стабильно. Тех поддержка, посоветовала просто добавить его в фильтр Метрики, что бы его посещения не учитывались. В конце написали, не переживайте, ПФ не влияют на выдачу 😉
Ага, а когда сайт просядет в поиске, ответят мол улучшайте ваш ресурс и всё будет ХОРОШО 🙂 Давно уже заметил, что в большинстве случаев отказы то связаны с проблемой в ранжировании поисковых систем. Они в своих релевантных выдачах подсовывают в качестве ответа абсолютно бесполезные статьи. Единственный, кто нормально справляется с этой проблемой, это Гугл. В результате такой человек читает статьи, интересуется информацией о других страницах сайта. Трафик с этого поиска всегда был гораздо качественней, чем с Яши, который релевантные запросы засунет в задворки поиска, а по разной бредятине будет показывать твой сайт 🙂
Мой сайт тоже в последнее время подвергся посещению подобных роботов: Flamingo_SearchEngine, MJ12bot и Spinn3r:, вследствие чего сайт стал часто недоступен.Вот добавьте в черный список IP :
109.74.1.174
107.20.202.46
198.27.82.153
144.76.95.231
174.37.205.76
Обновил чёрный список. Ирина, спасибо за дополнения.
Большое спасибо! Вот это реально помогли. У меня та же ситуация, видел эти посещения, но, в отличии от Вас, не знал, что с ними делать.
Вот, нашел в своих логах такие адреса:
66.249.81.62
66.155.8.207
66.249.66.7
66.249.93.62
У всех, местонахождение Америка. Конечно искать эти адреса очень неудобно, особенно, если слабо соображаешь в управлении всем этим хостингом 🙂 Странно, почему в яндекс метрике не отображаются ip адреса. Где-то я слышал, что раньше они были.
Обновил черный список.
Раньше в метрике действительно отображались IP-шники посетителей, но потом их убрали. Но есть способ их вернуть 🙂 Напишу отдельную статейку на эту тему, думаю для многих информация будет полезна.
Есть способ их вернуть ? Владимир, это было бы здорово! С нетерпением буду ждать Вашу статью.
Пора наказывать пиндосов. Не дают нормально жить людям, везде суют свой нос. 🙂
Владимир, а на моем сайте постоянно регистрируются новые пользователи (уверена, что абсолютно все — какие-то боты с буржунета). Самое странное — у меня нет на блоге формы для регистрации. Интересно, как они ко мне проникают? Насколько это негативно сказывается на сайт?
Зайдите в админку сайта, пункт «Настройки» и уберите галочку возле «любой может зарегистрироваться»
А боты постоянно шастают по сайтам, ничего страшного в этом нету, если они не накручивают счётчики посещений.
Отлично, спасибо! Все так просто оказалось 🙂
Спасибо, Владимир за очень интересную статью и полезную статью!
Рад, что моя статья была Вам полезна.
У меня тоже была такая проблема. Внезапно по Яндекс-Метрике увидела, что увеличилось количество отказов почти до 80%… Начала искать проблему и обнаружила вот этих самых американских «друзей»))) У меня на хостинге вопрос решился быстро. Внесла ай-пи адреса «ненужных посетителей» в запрещенные, предварительно вычислив их. И все нормализовалось))) Но в начале понервничать пришлось немножко, пока не поняла, в чем дело))
А у меня такие друзья не только из Америки, но из Франции, Италии,Португалии, но я плохо разбираюсь в сайтостроении, даже не знаю где смотреть их IP. Я живу в Крыму и решила, что это действуют так санкции против нас.
Тоже была такая проблема. По счастью этот робот представляется в поле user agent, по-этому его можно забанить и без списка IP, вот здесь есть решение, как избавить сайт от многих ботов, в том числе и hubspot’а через .htaccess.
В общем, если надо только hubspot забанить, то будет такой код:
##start blocking potentially unwanted bots. RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^HubSpot RewriteRule ^.* - [F,L] ##end code. bai bots.Вот и меня они посетили, эти боты. Стандартно повысили отказы в метрике до 80%. Я уж сперва подумала, что дорогу кому-то перешла и мне решили напакостить. Но потом начала копаться в логах и увидела web-crawlers@hubspot.com. Хорошо, что наткнулась на эту статья. Попробую по вашему совету забанить бота.
Еще более универсальное решение с помощью файла .htaccess:
RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^.*(ZmEu|Sogou|Baiduspider|AhrefsBot||BLEXBot|HubSpot).*$ [NC] RewriteRule .* - [F,L]Через символ «|» в скобках нужно перечислить уникальные части user agent роботов, которые создают нежелательную нагрузку на сайт.
Спасибо, забанил ip по списку, в разы упала нагрузка на сайте
Подскажите где найти файл логов, чтобы вытащить из него IP-адреса с нулевыми посещениями?
Сайт на Joomla.
Валентин, это зависит от вашего хостинга. Во-первых, сохранение логов должно быть включено (часто можно встретить его отключенным, соответствующая опция обычно есть в панели управления). Как вариант быстрого поиска — в каталогах выше корня сайта поиска *.log файлы (через ftp). Еще можно написать в техподдержку — если для сайта не включены логи, то по вашему запросу они смогут предоставить их за нужный период времени.
Спасибо.
Добрый день! Тоже подвергся атакам робота из ip сети Limited liability company Mail.Ru. Сегодня сделал показ ip в метрике, как вы показывали! к вечеру ждите список адресов! Этот робот мне 86% отказов делает
Извините, был в панике! Предыдущий коммент можете удалить! В общем ситуация такая: Каждые 6-7 минут заходит ко мне на сайт робот! Сделал показ айпи как описали вы, показываются все кроме этих роботов! Провайдеры у них MAILRU-NET2, Limited liability company Mail.Ru. В логе домена, на панели хостинга вычислил эти ip адреса:
deny from 94.100.184.102
deny from 94.100.184.101
deny from 94.100.184.100
deny from 217.69.141.119
Вот именно с этих адресов идут нулевые посещения! заблокировал, посмотрим что будет дальше!
Алексей, в настройках счетчика Яндекса перейдите на вкладку «Фильтры» и в самом низу страницы поставьте галочку напротив «фильтровать роботов по строгим правилам и по поведению» смотреть
HubSpot Webcrawler
54.174.53.97
54.174.53.127
54.174.53.119
54.174.53.127
54.174.53.180
54.174.54.109
54.174.54.240
54.174.54.255
54.174.55.108
54.174.55.205
54.174.56.26
54.174.56.70
54.174.56.119
54.174.56.133
54.174.56.234
54.174.57.3
54.174.57.7
54.174.57.19
54.174.57.68
54.174.57.144
54.174.57.210
54.174.58.30
54.174.58.75
54.174.59.82
54.174.59.87
54.174.59.127
54.174.59.131
54.174.59.138
54.174.59.181
54.174.60.18
54.174.60.21
54.174.60.81
54.174.60.113
54.174.61.34
54.174.61.68
54.174.61.172
54.174.61.184
54.174.61.234
Лучше банить IP адреса не по отдельности, а по маске (в ISPManager есть такая возможность)
например вместо
54.174.61.34
54.174.61.68
54.174.61.172
54.174.61.184
54.174.61.234
написать
54.174.61.0/8
Здравствуйте, простите за может быть глупый вопрос, а где в WP включить показ логов? Папка wp-content/logs/ у меня пуста, или я не там смотрю?
Игорь, логи показывает не WP, а хостинг. Ищите в панели хостинга или задайте вопрос в техподдержку
Здравствуйте. Подскажите как можно закрыть доступ к сайту из других стран полностью, исключение только роботы Googlе?
Еще Боты амазон
54.174.54.248
54.174.55.193
54.174.57.97
54.174.60.23
54.174.60.41
54.174.61.146
54.174.61.66