Как убрать дублирующиеся страницы на сайте

Бывают случаи, когда поисковые роботы индексируют собственные запросы на страницах вашего сайта или установленные на страницах сайта utm-метки. Робот определяет их как разные страницы с одинаковым контентом и присылает уведомление: 

Некоторые страницы вашего сайта содержат одинаковый контент. Из-за их обхода информация о важных страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске

Ранее мы сделали системный файл robots.txt доступным для редактирования, и сейчас вы можете самостоятельно внести директиву запрета индексации подобных get-запросов\utm-меток. 
Сначала вам нужно войти в SEO-настройки сайта в панели управления и включить опцию "Использовать собственный файл robots":

Создание директивы Clean-param

Затем нужно составить директиву "Clean-param:" и перечислить названия повторяющихся параметров. Параметр на странице может быть один, а может быть и несколько. Чтобы найти названия всех параметров, посмотрите на адрес дублирующих страниц. Название параметра всегда начинается после знака “?” и заканчивается перед знаком “=” или знаком “&”. К примеру на странице:

параметрами будут являться  "yadclid" , "yadordid" и "ZGlyZ...".

Составляем директиву "Clean-param:", после двоеточия перечисляем повторяющиеся на странице названия параметров, разделяя их знаком “&”. Получится следующая запись:

Примечание

Данные выше используются в качестве примера. В вашем запросе данные могут отличаться.

Проверка созданной директивы

Перед тем, как устанавливать запись в robots, рекомендуем проверить ее в Яндекс.Вебмастере. Для этого нужно перейти на страницу https://webmaster.yandex.ru/tools/robotstxt/. Укажите адрес сайта, затем нажмите значок “Загрузить”. Вебмастер загрузит записи файла robots вашего сайта. Добавьте отдельной строкой составленную директиву Clean-param и нажмите “Проверить”.

Затем внизу страницы в окне “Разрешены ли URL?” укажите полные адреса дублирующихся страниц, каждую с новой строки, если их несколько, и нажмите “Проверить”:

Если директива составлена верно, в результате ее применения URL вашего сайта не будет содержать параметры и метки. Робот Яндекса, используя эту директиву, не будет многократно перезагружать дублирующуюся информацию.

Добавление директивы в robots на сайте
Теперь, когда вы составили и проверили директиву, эту строчку нужно добавить в robots, сохранить и переопубликовать сайт:

По такому принципу вы можете удалить текущие и будущие дублирующиеся страницы на вашем сайте, если они будут появляться снова.

Примечание

Подробная инструкция по редактированию файла robots и использованию директивы Clean-param есть в справочнике Яндекса по ссылке: https://yandex.ru/support/webmaster/robot-workings/clean-param.html