Robots TXT - правильный роботс одного сайта

Url в директиве Host

Следует писать без аббревиатуры протокола передачи гипертекста, то есть без http:// и без закрывающего слеша/

Использование дополнительных директив в секции *

Некоторые роботы могут неправильно отреагировать на использование дополнительных директив. Это значит, что не стоит использовать дополнительные директивы в секции «*».
То есть рекомендуется создавать специальные секции для нестандартных директив, таких как «Host».

Так неправильно:


User-agent: *
Disallow: /css/
Host: www.example.com


А вот так – правильно:


User-agent: *
Disallow: /css/

User-agent: Yandex
Disallow: /css/
Host: www.example.com