Поведение поисковиков

[eyeland]

Поведение поисковиков

Например есть сайт который любят поисковики, и выдают его в выдаче по разнообразным запросам. Внимание, вопрос:

Что будет, если в корне этого сайта внезапно появится robots.txt который все блокирует? (User-agent: *\n disallow: /)

И что будет, когда он позже исчезнет.

 

[dr_mousefly]

лицоладонь

 

[GendalfW]

Например есть сайт который любят поисковики, и выдают его в выдаче по разнообразным запросам. Внимание, вопрос:

Что будет, если в корне этого сайта внезапно появится robots.txt который все блокирует? (User-agent: *\n disallow: /)

И что будет, когда он позже исчезнет.

при таком синтаксисе (синтаксис ТС неправильный)

User-agent: *
disallow: /

будут закрыты все страницы для всех поисковых роботов, вообщем в итоге пропадут все страницы, которые были в индексе до этого. если робота убрать, то через определенное время всё будет восстанавливаться (появятся страницы в поиске)

 

[eyeland]

будут закрыты все страницы для всех поисковых роботов, вообщем в итоге пропадут все страницы, которые были в индексе до этого. если робота убрать, то через определенное время всё будет восстанавливаться (появятся страницы в поиске)

Это понятно, хотелось бы точнее. Например если на все страницы бот увидит ошибку 500, то PR упдает в нули глубоко и надолго. А если 404 то страницы из индекса выпадут, но при появлении их, PR довольно быстро вернется на место.

А вот как сильно пострадает PR от Disallow: /? Т е как долго ждать его восстановления?

ЗЫ: по поводу синтаксиса -- \n это перевод строки