Заблочить AhrefsBot через .htaccess

[Samvell]

Заблочить AhrefsBot через .htaccess

Нужно заблочить AhrefsBot и mj12bot через .htaccess

Нашел пример, повторил, а ahrefs так и лезет

SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

Может я не правильно делаю?

 

[barzova]

в .htaccess что нибудь вроде такого напишите:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC]
RewriteRule ^ (.*)$ — [F,L]
</IfModule>

 

[TestPage]

Если этот AhrefsBot переименует себя в ИЕ, ФФ или оперу, то ничем его не заблочишь. В логи сервака посмотри, что на самом деле к тебе ломится и какой у этой гадости юзерагент. По нему и будешь блочить.

 

[Samvell]

173.199.114.179 | 11.03.13 8:30 | Mozilla/5.0 (compatible; AhrefsBot/4.0; +

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

)
108.59.8.70 | 11.03.13 1:23 | Mozilla/5.0 (compatible; MJ12bot/v1.4.3;

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

)

 

[barzova]

173.199.114.179 | 11.03.13 8:30 | Mozilla/5.0 (compatible; AhrefsBot/4.0; +

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

)
108.59.8.70 | 11.03.13 1:23 | Mozilla/5.0 (compatible; MJ12bot/v1.4.3;

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

)

в ссылках все написано, как заблокировать и прочее.

MJ12bot adheres to the robots.txt standard. If you want the bot to prevent website from being crawled then add the following text to your robots.txt:

User-agent: MJ12bot
Disallow: /

главное чтобы robots.txt был доступен.
ну и

If you have reason to believe that MJ12bot did NOT obey your robots.txt commands, then please let us know via email: [email protected]. Please provide URL to your website and log entries showing bot trying to retrieve pages that it was not supposed to.

ну и второй блокируется там же в robots.txt

user-agent: AhrefsBot
disallow: /

 

[Samvell]

user-agent: AhrefsBot
disallow: /

не прокатило, так и сидит

 

[barzova]

не прокатило, так и сидит

Может подождать нужно? robots.txt может не каждый раз бот вычитывает. Еще проверьте доступен ли этот файл. Может бот его не может вычитать.
В описании бота так и написано:

The bot will not pick up the changes in robots.txt immediately, usually it may take up to one week.
If you want the changes to be active immediately - please contact our [email protected]

Бот не вычитывает каждый раз этот файл. И изменения поймет приблизительно через неделю. Если Вы хотите пораньше, то напишите его хозяевам на [email protected]
В Ваших же ссылках все описано вполне подробно. Что и как делать.