Дубли - это полностью или частично совпадающие страницы одного ресурса.
Среди них выделяют полные (четкие) дубли - страницы, содержание которых полностью идентично, различны только их URL. А также нечеткие дубли - страницы, большая часть информации которых совпадает (их URL также неодинаковы).
Существует множество причин возникновения таких помех: несовершенство CMS сайта, технические недоработки, намеренное создание для специальных нужд компании (версии для печати) и т. д.
CMS (система управления содержимым) - программное обеспечение, предназначенное для создания, организации структуры, редактирования сайта и управления им.
Вне зависимости от характера появления, наличие дублей продвигаемых страниц может привести к их исключению из индекса поисковых систем, что негативно скажется на успешности продвижения сайта. Поэтому такие проблемы необходимо выявлять и проводить необходимые работы по их устранению.
Определить совпадающие страницы на сайте можно несколькими способами:
1. С помощью расширенного поиска Яндекса:
• Укажите в строке «Я ищу» текст той страницы, которую необходимо проверить на дубли.
• В строке «На сайте» введите адрес ресурса и нажмите кнопку «Найти»:
2. С помощью расширенного поиска Google, выполняя аналогичные действия, что и в случае с ПС Яндекс.
3. С помощью сервиса «Инструменты для веб-мастеров.»:
• Перейдите на вкладку «Оптимизация HTML» в разделе «Вид в поиске».
• Выберите пункт «Повторяющееся метаописание». Вы увидите страницы, на которых совпадают метатеги title, description, keywords и которые также могут являться дублями.
После того как все проблемные участки на вашем ресурсе выявлены, необходимо провести их доработку и закрыть дубли от индексации. Сделать это можно следующим образом:
• В файле robots.txt добавить директиву Disallow с указанием дублей страниц.
• В метатегах дублей прописывать <meta name="robots"content="noindex, nofollow"/>. Это запретит поисковому роботу индексировать данные этих страниц и переходить по ссылкам с них.
• Использовать тег <link rel="canonical" href=" адрес оригинала страницы сайта "/> на всех автоматически генерируемых страницах.