Что такое краулер (crawler)?

наш канал в ЯНДЕКС.ДЗЕН.

Краулер (Crawler) - программное обеспечение поисковой системы, которое обходит веб-страницы и заносит их в индекс. Также программа, позволяющая спарсить все внутренние и внешние ссылки сайта, метатеги, заголовки, канонические url и множество других данных, необходимых для SEO-специалиста.

Среди самых известных краулеров - Screaming Frog, Netpeak Spider, Xenu и другие.

Вы дочитали статью! Отличная работа!

Хотите, мы напишем статью специально для вас?

Не нашли решение вашей проблемы? Отправьте заявку на статью: если проблема окажется актуальной и массовой - мы опишем ее решение и разместим статью на сайте. Хотите попробовать?

Хочу!

Ваши комментарии|отзывы|вопросы

comments powered by Disqus