Как отредактировать файл robots.txt?

Файл robots.txt генерируется системой автоматически и доступен по адресу вида: http://mysite.ukit.me/robots.txt.

Этот файл содержит следующие директивы:

• User-Agent: *. Означает, что описанные ниже настройки действуют для всех поисковых роботов.
• Allow и Disallow. По умолчанию все страницы вашего сайта индексируются поисковыми системами, но вы можете закрыть некоторые из них от индексации.
• Sitemap. Показывает поисковым системам, по какому адресу можно найти карту сайта. Файл sitemap.xml генерируется автоматически.

Как использовать свой файл robots.txt

В панели управления сайта перейдите в раздел “Настройки”:

В разделе “SEO настройки” активируйте параметр “Использовать собственный robots.txt”:

В появившемся поле вы сможете самостоятельно внести нужные параметры в robots.txt. 

После внесения изменений, сайт нужно опубликовать. 
 

Примечание:

Для Яндекса более не требуется размещать директиву Host. Её заменяет 301 редирект, который автоматически настраивается в uKit для ваших доменов.

Важно

От файла robots.txt зависит индексирование вашего сайта и неверное его заполнение, может навредить продвижению, поэтому мы не рекомендуем что либо там менять, если вы не уверены на 100%, что настройки правильные. 

О том как работать с robots.txt вы можете прочитать в инструкциях от сервиса Яндекс: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html?NSNDX=10