Заблочить AhrefsBot через .htaccess

Samvell

S
Статус: Offline
Реєстрація: 29.07.2007
Повідом.: 2301
  • 🟡 11:08 Відбій тривоги в Харківська область.Зверніть увагу, тривога ще триває у:- Куп’янський район- Харківський район- Липецька територіальна громада- Вовчанська територіальна громада#Харківська_область
  • #1
Заблочить AhrefsBot через .htaccess

Нужно заблочить AhrefsBot и mj12bot через .htaccess

Нашел пример, повторил, а ahrefs так и лезет

SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Натисніть, щоб розгорнути...

Может я не правильно делаю?
 
  • 🟡 11:08 Відбій тривоги в Харківська область.Зверніть увагу, тривога ще триває у:- Куп’янський район- Харківський район- Липецька територіальна громада- Вовчанська територіальна громада#Харківська_область
  • #2
в .htaccess что нибудь вроде такого напишите:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC]
RewriteRule ^ (.*)$ — [F,L]
</IfModule>
 
  • 🟡 11:08 Відбій тривоги в Харківська область.Зверніть увагу, тривога ще триває у:- Куп’янський район- Харківський район- Липецька територіальна громада- Вовчанська територіальна громада#Харківська_область
  • #3
Если этот AhrefsBot переименует себя в ИЕ, ФФ или оперу, то ничем его не заблочишь. В логи сервака посмотри, что на самом деле к тебе ломится и какой у этой гадости юзерагент. По нему и будешь блочить.
 
  • 🟡 11:08 Відбій тривоги в Харківська область.Зверніть увагу, тривога ще триває у:- Куп’янський район- Харківський район- Липецька територіальна громада- Вовчанська територіальна громада#Харківська_область
  • #4
173.199.114.179 | 11.03.13 8:30 | Mozilla/5.0 (compatible; AhrefsBot/4.0; +
⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.
)
108.59.8.70 | 11.03.13 1:23 | Mozilla/5.0 (compatible; MJ12bot/v1.4.3;
⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.
)
 
  • 🟡 11:08 Відбій тривоги в Харківська область.Зверніть увагу, тривога ще триває у:- Куп’янський район- Харківський район- Липецька територіальна громада- Вовчанська територіальна громада#Харківська_область
  • #5

в ссылках все написано, как заблокировать и прочее.

MJ12bot adheres to the robots.txt standard. If you want the bot to prevent website from being crawled then add the following text to your robots.txt:

User-agent: MJ12bot
Disallow: /
Натисніть, щоб розгорнути...

главное чтобы robots.txt был доступен.
ну и


ну и второй блокируется там же в robots.txt

user-agent: AhrefsBot
disallow: /
 
  • 🟡 11:08 Відбій тривоги в Харківська область.Зверніть увагу, тривога ще триває у:- Куп’янський район- Харківський район- Липецька територіальна громада- Вовчанська територіальна громада#Харківська_область
  • #6
  • 🟡 11:08 Відбій тривоги в Харківська область.Зверніть увагу, тривога ще триває у:- Куп’янський район- Харківський район- Липецька територіальна громада- Вовчанська територіальна громада#Харківська_область
  • #7
Samvell сказав(ла):
не прокатило, так и сидит
Натисніть, щоб розгорнути...
Может подождать нужно? robots.txt может не каждый раз бот вычитывает. Еще проверьте доступен ли этот файл. Может бот его не может вычитать.
В описании бота так и написано:

The bot will not pick up the changes in robots.txt immediately, usually it may take up to one week.
If you want the changes to be active immediately - please contact our support@ahrefs.com
Натисніть, щоб розгорнути...
Бот не вычитывает каждый раз этот файл. И изменения поймет приблизительно через неделю. Если Вы хотите пораньше, то напишите его хозяевам на support@ahrefs.com
В Ваших же ссылках все описано вполне подробно. Что и как делать.
 
Ви повинні увійти або зареєструватися, щоб відповісти.