Бюджет краулинга в SEO

Робот не скачивает весь сайт за один раз. Лимит страниц за обход называют бюджетом краулинга.

Бюджет зависит от размера сайта, скорости сервера и качества страниц. Если робот тратит его на мусор, важные адреса ждут дольше.

Бюджет съедают бесконечные фильтры, пагинация с параметрами, дубли и служебные разделы. Их закрывают в robots.txt или не включают в sitemap.

Медленный сервер тоже режет обход: робот ходит реже. Нужные страницы должны открываться быстро и быть в карте сайта.