Robots.txt - это текстовый файл, расположенный в корневой директории сайта. Он может запрещать или разрешать поисковому роботу перемещаться по ресурсу, индексировать его содержимое и получать доступ к релевантной информации, поэтому его корректная настройка очень важна. Подробнее о возможностях robots.txt вы можете узнать здесь.
Для того чтобы создать этот файл, выполните следующие действия:
1. В текстовом редакторе «Блокнот» или WordPad создайте файл с именем robots.txt и заполните его, следуя правилам Яндекс.Вебмастера.
2. Загрузите готовый файл в корневой каталог вашего сайта.
Проверить наличие данного файла на вашем ресурсе можно, набрав в адресной строке браузера URL формата www.site.ru/robots.txt, где вместо www.site.ru нужно указать название вашего домена. Файл robots.txt может выглядеть так:
Чтобы указать поисковому роботу, какую информацию на ресурсе следует индексировать, а какую нет, используются директивы «Disallow: /» (закрытие) и «Allow: /» (открытие).
Рассмотрим пример. Один из разделов интернет-магазина спортивных товаров посвящен продаже мячей. Но его дизайн еще не закончен, а также требуются некоторые технические доработки. Закрыв его в директиве «Disallow: /catalog», автоматически становится не доступен и раздел спортивной формы, готовый к индексации.
Снизить до минимума риск возникновения таких ситуаций можно, систематически проверяя файл robots.txt с помощью инструмента «Анализ . robots.txt» сервиса Яндекс. Вебмастер:
• Укажите адрес сайта, загрузите robots.txt, нажав на соответствующую кнопку:
• В пункте «Список URL» нажмите «Добавить»:
В появившемся поле введите адрес страницы, которую вы хотите проанализировать, а затем нажмите «Проверить»:
III. Этапы эффективной оптимизации
В пункте «Результаты проверки URL» в соответствующем столбце напротив каждой страницы вы увидите статус, указывающий на то, разрешена или запрещена она для индексации:
Если вы обнаружили, что некоторые важные элементы сайта недоступны для посетителей и поисковых роботов, необходимо это исправить.