Screaming Frog в SEO

Представь, что у сайта тысяча страниц. Проверить каждую вручную невозможно. Тут на помощь приходит SEO-краулер - программа, которая сама обходит сайт по ссылкам и собирает данные о страницах.

Краулер работает как поисковый робот: заходит на страницу, читает HTML, находит ссылки и идет по ним дальше. Только отчет он отдает не поисковику, а тебе.

Самый популярный краулер - Screaming Frog. Он показывает статусы страниц, заголовки, мета-теги, дубли и битые ссылки. Скачать можно здесь: screamingfrog.co.uk/seo-spider.

Скачай программу с официального сайта и запусти. Введи адрес сайта в поле сверху и нажми "Start":

Краулер начнет обход. Слева появится список страниц с их статусами. Статус 200 - страница в порядке. Статус 404 - страница не найдена. Статус 301 - редирект.

Одна из главных задач краулера - поиск битых ссылок. Это ссылки на страницы, которых больше нет. Они мешают и пользователям, и поисковикам.

Во вкладке "Response Codes" выбери фильтр "Client Error (4xx)". Ты увидишь все страницы, которые отдают 404.

Вторая задача - поиск дублей. Это страницы с одинаковыми title или description. Поисковик не понимает, какую из них показывать в выдаче.

Открой вкладку "Page Titles" и выбери фильтр "Duplicate". Краулер покажет страницы с одинаковыми заголовками.

Третья задача - поиск ошибок в мета-тегах. Например, слишком длинный title, пустой description или несколько h1 на странице.

Еще краулер проверяет alt у картинок, редиректы, robots.txt и sitemap.xml. Все это в одном отчете.

У Screaming Frog есть альтернативы. Screaming Frog бесплатен до 500 страниц. Для больших сайтов нужна платная лицензия.

Другие краулеры: Sitebulb, Deepcrawl, Ahrefs Site Audit. Они работают похоже, но с разными интерфейсами и ценами.

Для маленьких сайтов хватит бесплатной версии Screaming Frog. Для больших проектов смотрят в сторону платных аналогов.