Создать сайт
Сайт или магазин под ключ от 3900 рублей или помощь по сайту от 80 рублей.
Подробнее

Как убрать дублирующиеся страницы на сайте

Бывают случаи, когда поисковые роботы индексируют собственные запросы на страницах вашего сайта или установленные на страницах сайта utm-метки. Робот определяет их как разные страницы с одинаковым контентом и присылает уведомление: 

Некоторые страницы вашего сайта содержат одинаковый контент. Из-за их обхода информация о важных страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске

Ранее мы сделали системный файл robots.txt доступным для редактирования, и сейчас вы можете самостоятельно внести директиву запрета индексации подобных get-запросов\utm-меток. 
Сначала вам нужно войти в SEO-настройки сайта в панели управления и включить опцию "Использовать собственный файл robots":

Создание директивы Clean-param

Затем нужно составить директиву "Clean-param:" и перечислить названия повторяющихся параметров. Параметр на странице может быть один, а может быть и несколько. Чтобы найти названия всех параметров, посмотрите на адрес дублирующих страниц. Название параметра всегда начинается после знака “?” и заканчивается перед знаком “=” или знаком “&”. К примеру на странице:

параметрами будут являться  "yadclid" , "yadordid" и "ZGlyZ...".

Составляем директиву "Clean-param:", после двоеточия перечисляем повторяющиеся на странице названия параметров, разделяя их знаком “&”. Получится следующая запись:

Примечание

Данные выше используются в качестве примера. В вашем запросе данные могут отличаться.

Проверка созданной директивы

Перед тем, как устанавливать запись в robots, рекомендуем проверить ее в Яндекс.Вебмастере. Для этого нужно перейти на страницу https://webmaster.yandex.ru/tools/robotstxt/. Укажите адрес сайта, затем нажмите значок “Загрузить”. Вебмастер загрузит записи файла robots вашего сайта. Добавьте отдельной строкой составленную директиву Clean-param и нажмите “Проверить”.

Затем внизу страницы в окне “Разрешены ли URL?” укажите полные адреса дублирующихся страниц, каждую с новой строки, если их несколько, и нажмите “Проверить”:

Если директива составлена верно, в результате ее применения URL вашего сайта не будет содержать параметры и метки. Робот Яндекса, используя эту директиву, не будет многократно перезагружать дублирующуюся информацию.

Добавление директивы в robots на сайте
Теперь, когда вы составили и проверили директиву, эту строчку нужно добавить в robots, сохранить и переопубликовать сайт:

По такому принципу вы можете удалить текущие и будущие дублирующиеся страницы на вашем сайте, если они будут появляться снова.

Примечание

Подробная инструкция по редактированию файла robots и использованию директивы Clean-param есть в справочнике Яндекса по ссылке: https://yandex.ru/support/webmaster/robot-workings/clean-param.html

Попробуйте прямо сейчас!

Создать сайт
Помогла ли вам статья?
Статью еще никто не оценивал