Анализ ошибок в файла robots.txt для Яндекса

Справочник по ошибкам анализа robots.txt

• Ошибки
• Предупреждения
• Ошибки проверки URL

информация актуальна по состоянию на 14.11.2015 

Ошибки 

Перечень ошибок возникающих при анализе файла robots.txt. 

https://yandex.ru/support/webmaster/error-dictionary/robots-txt.xml

Ошибка	Расширение Яндекса?	Описание
Правило начинается не с символа '/' и не с символа '*'.	Да	Правило может начинаться только с символа '/' или '*'.
Найдено несколько правил вида User-agent: *.	Нет	Допускается только одно правило такого типа.
Найдено несколько директив Host.	Да	Допускается только одна директива Host.
Превышен допустимый размер robots.txt.	Да	Количество правил в файле превышает 2048.  (или размер файла превышает 32 Kb)
Перед правилом нет директивы User-agent.	Нет	Правило всегда следует за директивой User-agent. Возможно, вставлена пустая строка после User-agent.
Слишком длинное правило.	Да	Допустимая длина директивы – 1024 символа.
Некорректное имя главного зеркала сайта.	Да	Имя Главного зеркала сайта в директиве Host содержит синтаксическую ошибку.
Некорректный формат URL файла Sitemap.	Да	В качестве URL файла Sitemap должен быть указан полный URL, включающий схему http://. Например, http://www.mysite.ru/sitemap.xml
Некорректный формат директивы Crawl-delay.	Да Да	В директиве Crawl-delay не верно указано время. Не допускается более одной директивы Crawl-delay.
Найдено несколько директив Crawl-delay.
Некорректный формат директивы Clean-param.	Да	В директиве Clean-param указывается один или несколько параметров, которые робот будет игнорировать, и префикс пути. Параметры перечисляются через '&' и отделяются от префикса пути пробелом.

Предупреждения

Перечень предупреждений, возникающих при анализе robots.txt.

Предупреждение	Расширение Яндекса?	Описание
Возможно использован недопустимый символ.	Да	Обнаружен спецсимвол, отличный от "*" и "$".
Обнаружена неизвестная директива.	Да	Обнаружена директива, не описанная в правилах использования robots.txt. Возможно, эта директива используется роботами других поисковых систем.
Синтаксическая ошибка.	Да	Строка не может быть интерпретирована как директива robots.txt.
Неизвестная ошибка.	Да	При анализе robots.txt возникла неизвестная ошибка. Обратитесь в службу поддержки.

Ошибки проверки URL

Перечень ошибок проверки URL в анализаторе robots.txt

Ошибка	Описание
Синтаксическая ошибка.	Ошибка синтаксиса URL.
Этот URL не принадлежит вашему домену	Заданный URL не принадлежит сайту, для которого производится анализ robots.txt. Возможно, вы указали адрес одного из зеркал вашего сайта или допустили ошибку в написании имени домена.

Справочник по ошибкам обработки файлов Sitemap

sitemaps.org