Screaming Frog

Screaming Frog — это десктопная программа для полного сканирования сайта. Она проходит по каждой ссылке, собирает метатеги, заголовки, статус-коды, редиректы и всё остальное, что обычно приходится проверять вручную. В SEO-аудите это базовый инструмент, потому что без него нормальный разбор сайта превращается в ад с десятками открытых вкладок.

Программа работает локально на компьютере, не отправляет данные на чужие серверы и не ограничивает количество сканируемых URL — лимиты стоят только в бесплатной версии (до 500 URL). Для серьёзного аудита нужна лицензия, но логика работы от этого не меняется.

Установка и настройка Screaming Frog

Программа ставится с официального сайта. Доступны версии под Windows, Mac и Linux. Установка стандартная — скачал, запустил, дальше по шагам. Единственный момент: для нормальной работы нужен Java, но обычно программа сама подсказывает, если чего-то не хватает.

После первого запуска стоит сразу зайти в настройки и подправить пару вещей, иначе сканирование соберёт кучу мусора:

• Spider → Configuration → Basic — здесь выбираешь, что именно сканировать. По умолчанию программа лезет по всем ссылкам, включая внешние. Если сайт большой, лучше отключить «Crawl External Links», чтобы не тратить время на чужие домены.
• Spider → Configuration → Speed — тут настраивается скорость. По умолчанию стоит пять потоков, но если сервер слабый или есть защита от перегрузки, лучше снизить до одного-двух. Иначе можно положить сайт или получить бан по IP.
• Spider → Configuration → Advanced — здесь можно отключить сканирование CSS, JS и картинок, если они не нужны для текущей задачи. Это сильно ускоряет процесс.

Ещё полезный момент — подключение Google Analytics и Search Console через Configuration → API Integration. После этого в таблице появятся данные по посещаемости и показам прямо рядом с техническими метриками. Без этого придётся сопоставлять данные вручную из двух разных источников.

Как сканировать сайт

Вводишь адрес сайта в строку сверху, нажимаешь «Start» и ждёшь. Пока идёт сканирование, внизу видно прогресс: сколько страниц просканировано, сколько найдено URL, сколько ошибок. В реальном времени таблицы заполняются данными, и можно уже начинать смотреть, что происходит.

Для больших сайтов сканирование может длиться часами. Здесь важно не торопиться и следить за логами — если программа упирается в какие-то страницы и не двигается, скорее всего, попался бесконечный цикл или генератор URL. В таком случае сканирование останавливают и добавляют исключения в Spider → Configuration → Exclude. Например, можно заблокировать все URL с параметрами сортировки или фильтрации, которые создают тысячи дублей.

Когда сканирование завершено, данные можно сохранить через File → Save. Проект сохраняется в формате .seospider — это обычная папка с файлами, которую потом можно открыть и продолжить работу. Для передачи данных другим людям удобнее экспортировать в CSV или Excel через меню вверху.

Анализ данных в Screaming Frog

После сканирования открывается основная таблица со всеми найденными URL. Наверху несколько вкладок, которые фильтруют данные по типу — это главное, чем ты будешь пользоваться.

Internal — все внутренние страницы сайта. Здесь видно каждый URL, его статус-код, заголовок, мета-описание, глубину кликов от главной и количество входящих ссылок. Это база, с которой начинается любой разбор.

Response Codes — страницы с ошибками. Вкладка «Client Error (4xx)» показывает все битые ссылки, а «Redirection (3xx)» — все редиректы. Здесь сразу видно, куда ведут сломанные страницы и нет ли цепочек редиректов, которые нужно сокращать.

Page Titles и Meta Description — вкладки для проверки мета-тегов. Программа автоматически подсвечивает проблемы: слишком длинные или короткие заголовки, дубли, пустые теги. Не нужно проверять каждую страницу руками — просто фильтруешь по колонке «Duplicate» или «Missing».

H1 — проверка заголовков первого уровня. Частая проблема: страницы без H1 или с несколькими H1. Здесь это видно за секунду.

Images — все картинки на сайте с указанием размера, альт-текста и формата. Удобно для поиска картинок без alt или слишком тяжёлых файлов, которые тормозят загрузку.

Для быстрого поиска конкретной проблемы есть фильтры прямо в таблице. Кликаешь на заголовок колонки и выбираешь нужное условие — например, «Filter by 404». Можно комбинировать фильтры и выцеплять очень точные срезы данных.

Пользовательские экстракции

Это самая мощная фича Screaming Frog, о которой многие забывают. Экстракции позволяют вытаскивать из страниц любые данные, которые программа не собирает по умолчанию. Включается через Configuration → Custom → Custom Extraction.

Работает это через CSS-селекторы или XPath. Например, тебе нужно собрать все цены с карточек товаров или проверить, заполнены ли конкретные поля на страницах. Указываешь селектор, задаёшь имя колонки, и при следующем сканировании программа вытащит эти данные в отдельную вкладку «Custom Extraction».

Практические примеры, где это реально помогает:

• Сбор schema-разметки — вытаскиваешь содержимое конкретных микроданных, чтобы проверить, правильно ли они заполнены на всех страницах.
• Проверка хлебных крошек — вытаскиваешь все ссылки из навигационной цепочки и смотришь, нет ли сломанных или пропущенных элементов.
• Контент определённых блоков — например, собрать все тексты из блоков «Преимущества» и проверить их на уникальность.
• Атрибуты данных — вытаскиваешь значения data-атрибутов, которые используются в JavaScript-логике, и проверяешь, корректно ли они заполнены.

Экстракции можно сохранять в пресеты и переключаться между ними в зависимости от задачи. Для одного проекта может понадобиться пять-шесть разных наборов экстракций — под товары, под статьи, под категории. Каждый пресет сохраняется отдельно и не мешает остальным.

Если XPath или CSS-селекторы — не твоя тема, в Screaming Frog есть встроенный инструмент для проверки. Внизу окна экстракций есть поле «Test», куда можно вставить селектор и сразу увидеть, что он найдёт на конкретной странице. Не нужно сканировать весь сайт заново, чтобы понять, работает ли выборка.