Что такое robots.txt?

наш канал в ЯНДЕКС.ДЗЕН.

Robots.txt - файл, с помощью которого можно управлять индексированием сайта поисковыми системами.

Файл располагается в корневом каталоге сайта.

С помощью него можно открывать и закрывать для индексации отдельные директории и весь сайт как для всех поисковых систем, так и для какой-то одной из них.

Также в нем можно указать главное зеркало (для ПС Яндекс) и ссылку на xml карту сайта.

Вы дочитали статью! Отличная работа!

Хотите, мы напишем статью специально для вас?

Не нашли решение вашей проблемы? Отправьте заявку на статью: если проблема окажется актуальной и массовой - мы опишем ее решение и разместим статью на сайте. Хотите попробовать?

Хочу!

Рекомендуем прочитать статьи:

Ваши комментарии|отзывы|вопросы

comments powered by Disqus