Что такое robots.txt?

наш канал в Telegram!

Robots.txt - файл, с помощью которого можно управлять индексированием сайта поисковыми системами.

Файл располагается в корневом каталоге сайта.

С помощью него можно открывать и закрывать для индексации отдельные директории и весь сайт как для всех поисковых систем, так и для какой-то одной из них.

Также в нем можно указать главное зеркало (для ПС Яндекс) и ссылку на xml карту сайта.

Ваши комментарии|отзывы|вопросы

comments powered by Disqus