Помогите с robots.txt

Dimoks

Адмін
Статус: Offline
Реєстрація: 15.08.2003
Повідом.: 70270
Помогите с robots.txt

https://www.kharkovforum.com/robots.txt

Как добавить к существующим правилам правило для определенного адреса - определенное время?

что типа

User-agent: googlebot
Allow: /attachment.php
Request-rate: 1/2
Visit-time: 0000-0700

- так? Вопрос, как googlebot будет себя вести в другое время и в других папках? Я запутался :(
 
будет вести себя согласно написанному -

User-agent: *
Disallow: /archive/
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /images/
Disallow: /r/
Disallow: /ajax.php
Disallow: /banlist.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /global.php
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /reklama_b.php

т.е. шариться не должен там.

в списке запрета не заметил /attachment.php - по этому подозреваю, что он там и так шариться может, если знает путь туда.
 
т.е. просто добавить эту строчку и всё?
а googlebot не решит что ему можно только по этому адресу и только в это время?
 
В паблике ведь полно информации о robots
 
Назад
Зверху Знизу