Что такое краулер (crawler)?

наш канал в Telegram!

Краулер (Crawler) - программное обеспечение поисковой системы, которое обходит веб-страницы и заносит их в индекс. Также программа, позволяющая спарсить все внутренние и внешние ссылки сайта, метатеги, заголовки, канонические url и множество других данных, необходимых для SEO-специалиста.

Среди самых известных краулеров - Screaming Frog, Netpeak Spider, Xenu и другие.

Ваши комментарии|отзывы|вопросы

comments powered by Disqus