Robots.txt - это текстовый файл, расположенный в корневой директории сайта. Он может запрещать или разрешать поисковому роботу перемещаться по ресурсу, индексировать его содержимое и получать доступ к релевантной информации, поэтому его корректная настройка очень важна. Подробнее о возможностях robots.txt вы можете узнать здесь.

Для того чтобы создать этот файл, выполните следующие действия:

1. В текстовом редакторе «Блокнот» или WordPad создайте файл с именем robots.txt и заполните его, следуя правилам Яндекс.Вебмастера.

2. Загрузите готовый файл в корневой каталог вашего сайта.

Проверить наличие данного файла на вашем ресурсе можно, набрав в адресной строке браузера URL формата www.site.ru/robots.txt, где вместо www.site.ru нужно указать название вашего домена. Файл robots.txt может выглядеть так:

Чтобы указать поисковому роботу, какую информацию на ресурсе следует индексировать, а какую нет, используются директивы «Disallow: /» (закрытие) и «Allow: /» (открытие).

Рассмотрим пример. Один из разделов интернет-магазина спортивных товаров посвящен продаже мячей. Но его дизайн еще не закончен, а также требуются некоторые технические доработки. Закрыв его в директиве «Disallow: /catalog», автоматически становится не доступен и раздел спортивной формы, готовый к индексации.

Снизить до минимума риск возникновения таких ситуаций можно, систематически проверяя файл robots.txt с помощью инструмента «Анализ . robots.txt» сервиса Яндекс. Вебмастер:

• Укажите адрес сайта, загрузите robots.txt, нажав на соответствующую кнопку:

• В пункте «Список URL» нажмите «Добавить»:

В появившемся поле введите адрес страницы, которую вы хотите проанализировать, а затем нажмите «Проверить»:

III. Этапы эффективной оптимизации

В пункте «Результаты проверки URL» в соответствующем столбце напротив каждой страницы вы увидите статус, указывающий на то, разрешена или запрещена она для индексации:

Если вы обнаружили, что некоторые важные элементы сайта недоступны для посетителей и поисковых роботов, необходимо это исправить.