Screaming Frog
Screaming Frog — это десктопный краулер, который обходит сайт как поисковый робот и вываливает всё в таблицы. Бесплатная версия сканирует до 500 URL, для серьёзных проектов нужен платный лицензионный ключ. Программа работает на Java, поэтому сначала нужно установить её, если ещё нет.
Установка и настройка Screaming Frog
Скачиваешь инсталлятор с официального сайта, запускаешь, выбираешь папку для установки. При первом запуске программа предложит выбрать язык интерфейса — там есть русский. Дальше базовая настройка: заходишь в Configuration → Spider и выставляешь нужные параметры. Обычно меняют user-agent на Googlebot, если хочешь видеть сайт глазами поисковика. Также стоит отключить сканирование CSS, JS и картинок, если задача — проверить только структуру страниц. Это ускорит обход и сэкономит оперативку.
Как сканировать сайт
В поле ввода вверху вставляешь URL сайта и жмёшь Start. Если нужен конкретный раздел — вставляешь его. Пока идёт сканирование, внизу видно прогресс: сколько страниц найдено, сколько обработано, какие ошибки уже вылезли. Для больших сайтов лучше ставить ограничение по глубине обхода или исключать ненужные папки через Regex в настройках. Иначе можно зависнуть на пару часов, пока краулер переберёт все возможные фильтры в каталоге.
Анализ данных в Screaming Frog
После сканирования открываются вкладки с результатами. Основные — Internal, Response Codes, Page Titles, Meta Description, H1, H2. В Internal видна вся структура ссылок между страницами. Response Codes показывает все коды ответов сервера: 404, 301, 500 — всё на виду. Вкладки с тайтлами и заголовками сразу подсвечивают дубли, пустые или слишком длинные значения. Фильтры сверху позволяют отсеивать только проблемные страницы. Например, ставишь фильтр «Missing» на H1 — и видишь все страницы без заголовка первого уровня.
Пользовательские экстракции
Это мощная фича, которая позволяет вытаскивать любые данные со страниц. Заходишь в Configuration → Custom → Custom Extraction и добавляешь правила. Можно забирать микроразметку, цены товаров, авторов статий, дату публикации — всё, что есть в HTML. Выбираешь тип извлечения: CSS Selector, XPath или Regex. Результат появляется в отдельной вкладке Custom Extraction. Это реально выручает, когда нужно собрать однородные данные с сотен страниц без парсинга скриптами.
Яндекс.Вебмастер
Яндекс.Вебмастер показывает, как Яндекс видит твой сайт. Это не краулер, а панель с данными от самой поисковой системы. Здесь нет гипотез — только факты о том, что уже проиндексировано и как ведёт себя сайт в поиске Яндекса.
Регистрация и настройка
Заходишь на webmaster.yandex.ru, авторизуешься через Яндекс ID и добавляешь сайт. Подтверждение прав — стандартная процедура: либо DNS-запись, либо мета-тег в head, либо HTML-файл в корне. DNS-запись самый надёжный вариант, если есть доступ к панели управления доменом. После подтверждения нужно указать главное зеркало: с www или без, с http или https. Также стоит добавить файл sitemap.xml и проверить, что роботс.тхт не блокирует нужные разделы.
Диагностика сайта
Раздел «Диагностика» — это список проблем, которые Яндекс нашёл на сайте. Ошибки индексирования, запрещённые элементы, проблемы с микроразметкой, HTTP-ошибки. Каждая проблема сопровождается списком затронутых URL. Фильтры позволяют смотреть только критичные ошибки или предупреждения. Важно не просто фиксить ошибки, а следить, чтобы их количество уменьшалось после переобхода. Яндекс обновляет данные не мгновенно — иногда нужно подождать несколько дней.
Индексирование
В разделе «Индексирование» видно, сколько страниц сайта знает Яндекс и сколько из них реально в поиске. Вкладка «Страницы в поиске» показывает исключённые URL с причинами: роботс.тхт, мета-тег noindex, дубли. Если страница не попадает в индекс, хотя должна — здесь можно понять почему. Также есть инструмент «Перепроверить» для конкретных URL, но им не стоит злоупотреблять, иначе можно получить временный бан на перепроверку.
Поисковые запросы
Раздел показывает реальные запросы, по которым сайт показывался в поиске Яндекса за последние 30 дней. Видно позицию, количество показов и кликов, CTR. Это база для понимания, что уже работает, а что нет. Фильтры позволяют отсеивать запросы по страницам — удобно, если нужно понять, какие запросы приводит конкретная статья. Данные обновляются с задержкой, но для трендов этого достаточно.
Внешние ссылки
Яндекс показывает часть внешних ссылок на сайт. Не все — только те, которые считает значимыми. Видно ссылающиеся домены, анкоры и количество ссылок. Полной картины это не даёт, но позволяет отследить резкие скачки — например, если налетел спам-линкбилдинг и нужно срочно что-то делать. Также здесь видно, какие ссылки Яндекс уже не учитывает.
Google Search Console
Google Search Console — зеркало Яндекса, но для Google. Интерфейс другой, данные другие, логика частично отличается. Для сайтов, которые работают на обеих поисковиках, оба инструмента обязательны.
Регистрация и настройка
Заходишь на search.google.com/search-console, добавляешь ресурс. Google предлагает подтвердить права через DNS-запись, HTML-тег, Google Analytics или Google Tag Manager. Самый быстрый путь — через GA или GTM, если они уже подключены. После подтверждения отправляешь sitemap.xml в разделе Sitemaps. Google обычно обрабатывает его быстрее Яндекса — первые результаты появляются в течение часа.
Performance Report
Это главный раздел Google Search Console. Показывает клики, показы, CTR и среднюю позицию по запросам, страницам, странам и устройствам. В отличие от Яндекса, здесь можно смотреть данные за разные периоды и сравнивать их. Фильтры мощные: можно выделить конкретную страницу и увидеть все запросы, по которым она показывалась. Также есть графики по дням — удобно отслеживать эффект от обновлений или публикации новых материалов.
Coverage Report
Раздел «Индексирование» → «Страницы» показывает статус всех URL, которые знает Google. Страницы делятся на четыре категории: ошибок, предупреждений с ошибками, предупреждений без ошибок и успешных. Для каждой страницы указана причина, если она не проиндексирована. Частая проблема — страницы помечены как «Discovered — currently not indexed». Это значит, что Google знает об их существовании, но ещё не обошёл. Обычно решается улучшением краулингового бюджета и внутренней перелинковкой.
Core Web Vitals
Раздел «Опыт взаимодействия» показывает метрики скорости загрузки: LCP, INP, CLS. Google делит URL на три группы: хорошие, нуждающиеся в улучшении и плохие. Данные собираются на реальных пользователях через Chrome UX Report, а не в лабораторных условиях. Если метрики красные — это прямой сигнал, что Google может снизить позиции. Для каждой проблемной страницы есть подсказки, что именно тормозит.
Ссылки
В разделе «Ссылки» Google показывает внешние и внутренние ссылки. Внешние — какие сайты ссылаются на тебя, внутренние — как страницы ссылаются друг на друга. Данные по внешним ссылкам неполные: Google намеренно скрывает часть бэклинков. Но для аудита этого достаточно, чтобы увидеть топ ссылающихся доменов и самые ссылочные страницы своего сайта. Внутренние ссылки помогают найти страницы-сироты, на которые нет ни одной ссылки с других страниц.
Специализированные сервисы
Помимо базовых инструментов, есть куча платформ, которые упрощают рутину. Каждый сервис решает свои задачи — нет универсального решения на все случаи.
Sitechecker
Облачный сервис с понятным интерфейсом, который подойдёт для быстрого аудита небольших и средних сайтов. Сканирует технические ошибки, собирает метрики скорости, проверяет индексацию. Плюс — показывает проблемы прямо на скриншотах страниц. Минус — лимиты на количество проверок в бесплатной версии. Хорошо подходит для тех, кто не хочет разбираться в сложных настройках краулеров.
Netpeak Spider
Десктопный краулер, разработанный в Украине. Конкурент Screaming Frog, но с более дружелюбным интерфейсом для русскоязычных пользователей. Умеет всё то же самое: сканирование страниц, проверка кодов ответов, анализ мета-тегов, поиск дублей. Есть уникальные фичи — например, проверка наличия подсветки искомых слов на странице. Бесплатная версия ограничена 100 URL, что мало даже для теста.
SE Ranking
Полноценная SEO-платформа с модулем аудита сайта. Сканирует технические проблемы и выдаёт список задач с приоритетами: критичные, средние, низкие. Каждая проблема сопровождается объяснением, почему это важно, и инструкцией, как исправить. Удобно, когда нужно не просто найти ошибки, а сразу понять, что с ними делать. Также есть мониторинг позиций и исследование ключевых слов в одном интерфейсе.
Ahrefs
Платформа, которая славится своим бэклинк-анализом, но модуль Site Audit у неё тоже мощный. Сканирует до 100 000 страниц в одном проекте на платных тарифах. Проверяет технические ошибки, структуру сайта, внутренние ссылки, производительность. Отличительная черта — глубокая интеграция с данными по обратным ссылкам. Можно сразу увидеть, какие страницы получают больше всего ссылочного веса и перераспределить его через внутреннюю перелинковку.
Semrush
Ещё одна крупная SEO-платформа с модулем Site Audit. Сканирование до 100 000 страниц, проверка более 130 типов проблем. Есть отдельный отчёт по Core Web Vitals и сравнение с конкурентами по техническим метрикам. Плюс Semrush — интеграция с другими модулями: можно перейти от ошибки на странице сразу к анализу её позиций или к исследованию ключевых слов. Минус — дороговато для небольших проектов.
Serpstat
Украинская платформа с более доступными ценами, чем Ahrefs или Semrush. Модуль аудита сайта проверяет базовые технические ошибки, индексацию, мета-теги, внутренние ссылки. Интерфейс простой, данные обновляются быстро. Хорошо подходит для агентств, которые ведут много небольших клиентов и не готовы платить за премиум-инструменты. Но по глубине анализа уступает лидерам рынка.
Be1.ru
Российский сервис, который существует давно и специализируется на анализе сайтов для ру-сегмента. Показывает параметры ТИЦ и траст, анализирует внешние ссылки, проверяет индексацию в Яндексе и Google. Не является полноценным инструментом для технического аудита, но полезен как дополнение — особенно для быстрой оценки ссылочного профиля и сравнения с конкурентами по базовым метрикам.
Rush Analytics
Российская платформа с несколькими модулями: мониторинг позиций, парсинг выдачи, аудит сайта. Модуль аудита проверяет технические ошибки, собирает заголовки, мета-теги, ищет дубли. Работает с Яндексом и Google, учитывает специфику русского SEO. Плюс — можно параллельно мониторить позиции и видеть, как исправление ошибок влияет на трафик. Интерфейс на русском, поддержка работает быстро.
