Обработка записей в luxwill.ru

Barry Schwartz дает ссылки на обсуждения приоритета выбора записей в robots.txt роботами поисковых систем.Меня всегда удивляло, как можно делать такие разные и вычурные ошибки в таком простом файле исключений с четким и однозначным форматом. Можно, конечно, грешить на большое количество расширений, которые добавляет в стандарт каждая значимая система с широко известными в узких кругах именами роботов: Google, Yahoo, MSN, Yandex. Но в таком случае и вопросы по robots.txt возникали бы прежде всего именно по расширениям.Вернемся к приоритетам. Как известно, записи в robots.txt разделяются пустыми строками, каждая запись — это инструкция для одного или нескольких роботов. Пусть мы имеем следующее содержание файла исключений:User-agent: * Disallow: /dir/file User-agent: Yandex Disallow: /reports User-agent: Googlebot Disallow: /users Allow: /best-page.htmlВопрос заключался в том, какими директивами в данном случае будет руководствоваться робот Гугля, что для него будет запрещено? Можно подумать, что робот наткнется в первую очередь на секцию для всех роботов и именно ее правила примет к рассмотрению. Это неверное предположение. Робот при парсинге файла работает примерно по следующему алгоритму:Получает полностью файл Выделяет в файле корректные секции Ищет "свою" секцию Если своя секция найдена принимает к руководству ее инструкции. Если своей секции не обнаружено, ищет секцию для всех роботов Если обнаружена секция для всех роботов, принимает к руководству ее инструкции Если общая секция не найдена, робот считает, что индексировать можно все без исключения.Отсюда делаем сразу несколько выводов:Порядок секций в файле значения не имеет. Если будет найдена "своя секция", то робот будет руководствоваться только ее инструкциями, игнорируя все остальные, поэтому в нашем примере робот Гугл абсолютно справедливо будет индексировать /dir/file. Отсутствие общей секции — разрешение индексировать весь сайт роботам, не упомянутым ни в одной секции. Источник: http://notes.webartsolutions.com

Отзывы и комментарии