Что такое краулер (crawler)?

наш канал в ЯНДЕКС.ДЗЕН.

Краулер (Crawler) - программное обеспечение поисковой системы, которое обходит веб-страницы и заносит их в индекс. Также программа, позволяющая спарсить все внутренние и внешние ссылки сайта, метатеги, заголовки, канонические url и множество других данных, необходимых для SEO-специалиста.

Среди самых известных краулеров - Screaming Frog, Netpeak Spider, Xenu и другие.

Вы дочитали статью! Отличная работа!

Хотите, мы напишем статью специально для вас?

Не нашли решение вашей проблемы? Отправьте заявку на статью, которая была бы вам интересна и полезна, и мы обязательно напишем и разместим ее в нашем блоге. Хотите?

Хочу!

Ваши комментарии|отзывы|вопросы

comments powered by Disqus