Любая работа над сайтом по его SEO-оптимизации начинается с определения текущего состояния его трех составляющих: технической, контентной и внешней (ссылочное присутствие).

В отличие от внешнего анализа, провести технический и контентный, в теории, возможно и без использования стороннего программного обеспечения, достаточно лишь знать, куда смотреть в исходном коде страниц сайта. Тем не менее, как и во многих технических процессах, качественный софт позволяет ускорить выполнение анализа в десятки, а то и в сотни раз.

Технический анализ сайта

Именно поэтому при проведении SEO-анализа сайта, оптимизаторы используют так называемые «краулеры». И один из наиболее доступных и удобных, а потому и популярных, краулеров — это Screaming Frog SEO Spider. Именно его использует наша компания при проведении технического анализа сайта.

Суть работы краулера – это запуск на сайт своего робота (по своим свойствам похожего на поисковых роботов Яндекса и Google'а), который сканирует страницу, введенную в запросе, совершает переход по внутренним ссылкам на другие страницы этого сайта, сканирует их, переходит по их ссылкам и так пока не обойдет весь сайт. Данные, собранные своим роботом, программа Screaming Frog SEO Spider собирает в собственные таблицы.

В данном материале мы рассмотрим, какую именно полезную информацию для технического анализа сайта может нам дать Screaming Frog SEO Spider и как ее можно использовать при оптимизации.

Анализ внутренних ссылок

Итак, открываем SF SEO Spider и вводим URL-адрес сайта под анализ. Обход запущен, статус обхода отображается в процентах в правом углу окна программы.

Важно понимать, что робот начинает обход сайта именно с той страницы, которая введена в запросе. Если введена главная, робот начнет с нее и перейдет на дочерние (при наличии ссылок на них), а если введена дочерняя, робот начнет с нее и перейдет на ее дочерние, родительские и так далее (при наличии ссылок на них). При этом очевидно, что если продвигаемой страницы нет в результатах обхода, то и ссылок на других страницах сайта на нее нет. Такое явление называется «страница-сирота» и является грубой ошибкой в SEO.

Скриншоты в данном материале взяты с технического анализа сайта нашего клиента, но для сохранения конфиденциальности мы скрыли его домен.

После окончания обхода рассмотрим данные в первой таблице — Internal. Исходя из названия, здесь собраны внутренние ссылки сайта. (Все скриншоты в материале увеличиваются при клике по ним).

В селекторе Filter мы можем отсортировать ссылки по типу, где html – это страницы сайта, а CSS, JavaScript, Images и остальное – соответствующие вложения и скачиваемые файлы.
В таблице Internal нас в первую очередь интересуют столбцы Status Code, Status, Indexability и Indexability Status.
Вот небольшая справка от наших SEO-специалистов по кодам ответа (Status Code):

200 – ссылка ведет на существующую страницу, все нормально
300, 301, 302 и т. д. – ссылка ведет на страницу, с которой происходит принудительное перенаправление на другой URL
400, 404 и т.д. – ссылка ведет на несуществующую страницу
500, 501, 505 и т. д. — переход по ссылке блокируется сервером сайта
0 – ссылка заблокирована в файле robots.txt (ее реальный код не важен роботу, так как переход заблокирован в любом случае).

Что с этим делать? Здесь все проще, чем может показаться. По 200 и 0 все очевидно – первые индексируются, вторые нет.

В ходе исследований и тестов, наши оптимизаторы определили, что ссылок 400 и 500 на сайте быть не должно, это ошибки в любом случае. Поэтому рекомендуется ручная чистка на страницах, где они заданы, вырезание из файлов шаблона, либо создание правила запрета на индекс в robots (менее желательное решение, лучше вычистить). 300 – приемлемый ответ, если конечная страница после перенаправления отдает 200, но все же если таких ссылок не много, лучше сразу им задать конечный URL.

Чтобы определить, на каких именно страницах на сайте находится та или иная ссылка (например, чтобы вычистить ссылку, отдающую код 400 или 500), необходимо кликнуть ЛКМ на ссылку в основной таблице, и внизу окна программы выбрать вкладку Inlinks. Все страницы, содержащие данную ссылку, выведены в столбце From.

Касательно столбцов Indexability и Indexability Status, они отражают, доступен ли URL для индексации. Несложно заметить, что индексируются только URL, отдающие код 200, однако и те не все. Некоторые из них помечены статусом Canonicalised, но об этом чуть позже.

Идем далее, переходим на страницу External. Здесь собраны уже ссылки с нашего сайта на страницы других сайтов, либо же файлы JS, CSS, изображений или других вложений, которые интегрированы на сайт с другого ресурса. Также смотрим на коды ответов, ссылаться или принимать файл с другого сайта с ошибками 400 или 500 крайне нежелательно для SEO. В случае с 300 так же проверяем доступность конечного URL.

Таблицы Response Codes и URL также выдают нам информацию о кодах ответа и статусе индексации ссылок, но в отличие от предыдущих таблиц, здесь нет разделения на внутренние и внешние URL.

Зато, здесь есть удобные фильтры в селекторе Filters – в таблице Response Codes можно четко отфильтровать URL по коду ответа, а в URL – вывести только URL, содержащие кириллицу (Non ASCII Characters), содержащие заглавные буквы (Uppercases), содержащие параметры (Parametrs), содержащие символ нижнего подчеркивания (Underscores), и содержащие более 115 символов. Все эти URL (кроме параметров и нижних подчеркиваний для не HTML-файлов) являются ошибками оптимизации, потому отлавливать их здесь весьма полезно.

И последнее из анализа ссылок, что нас интересует в SF SEO Spider – это таблица Canonicals.

Здесь собраны данные о работе механизма канонических ссылок на сайте. Основная их функция – это определять URL с параметрами (в самой ссылке параметры указаны после символа «?» и позволяют работать динамическим механизмам сайта, таким как фильтрация и сортировка товаров и т.д.) как ту же самую страницу, что и с URL без параметра, а не ее дубль. Таким образом, правильно настроенные канонические ссылки защищают страницы от образования дублей.

Таблица Canonicals отображает канонические ссылки HTML-страницы сайта. Каждая страница без параметров должна иметь каноническую ссылку сама в себя, страницы с параметрами – в себя без них. Страницы пагинации – тоже сами в себя. Несоответствие этим стандартам свидетельствует об ошибке оптимизации канонических ссылок, которые здесь легко определить.

Также, селектор Filters здесь может вывести каждый случай канонизации отдельно.

Анализ мета-тегов и контента

Теперь посмотрим, чем нам может помочь Screaming Frog SEO Spider при анализе мета-тегов и контента сайта. Для этого нас интересуют таблицы Page Titles, Meta Descriptions, Meta Keywords, H1 и H2. Все эти таблицы имеют одинаковую структуру – отображают кол-во выбранного тега на странице, содержимое, длину в символах и в пикселях. Удобно видеть сразу превышение кол-ва и длины тегов, а также проблемы в оптимизации их контента.

Также, внизу окна программы есть вкладка SERP Snippet. Кликнув в основной таблице на любой URL и перейдя в нее, вам отобразится — как выглядит сниппет этой страницы в поисковой выдаче Google. Полезно сразу увидеть, какая часть тегов title и description отобразится, а какая будет скрыта за многоточием.

В селекторе Filters данных таблиц также можно отобразить проблемные страницы – с дублирующимися тегами (Duplicate), с отсутствующими (Missing), более одного (Multiple), а также превышающие рекомендуемые пределы (Over *** charecters).

Несколько рекомендаций по данным мета-тегам от SEO-отдела нашей компании:

Title – строго не больше и не меньше одного, до 80 символов, содержит ключевой запрос, захватные слова (купить, цена, отзывы и т.д.), региональную принадлежность (в Москве, в Воронеже и т.д.).
Meta Descriptions – строго не больше и не меньше одного, длина — 160-180 символов, содержит ключевой запрос, имеет призыв и привлекателен для клика на выдаче.
Meta Keywords — на сегодняшний день является устаревшим и его наличие на сайте не несет ничего хорошего, поэтому в этой таблице смотрим, чтобы их просто не было.
H1 – строго не больше и не меньше одного, содержит ключ.
H2 — может быть несколько, содержат побочные ключи.

Таблица Images содержит список всех изображений на сайте. В основной таблице отображен тип и размер каждого, но нас больше интересует содержимое параметров alt. Его можно найти в уже знакомой нам вкладке Inlinks, так как одно изображение на каждой странице может иметь различный alt. Alt’ы рекомендовано содержат ключевой или побочный ключ.
анализ изображений сайта

Также, в последней версии программы Screaming Frog SEO Spider (13.0 на момент написания материала) добавили таблицу Content. Здесь в столбце Word Count указано количество слов на странице, что полезно при поиске малоинформативных (менее 30-50 слов в зависимости от наполнения шапки и подвала). Здесь же можно проверять грамматические ошибки и описки в текстах страниц, если включить эту функцию в настройках Configuration – Content – Spelling and Grammar и выбрать русский язык.
анализ контента сайта

Безусловно, это лишь часть функционала программы Screaming Frog SEO Spider. Анализ страниц пагинации, ссылок hreflang, микроразметок, файлов Sitemap, скорости загрузки и других параметров используется при расширенном и более тщательном техническом анализе сайта. Однако, выявление и устранение ошибок, описанных в данном материале, уже поможет поднять позиции сайта топ в 80% случаев.

Конечно, для рядового владельца сайта или бизнеса подобная аналитика может показаться техническими дебрями. В таком случае у компании Business Boom Studio есть комплексное решение – SEO-аудит и SEO-продвижение сайта любой сложности с гарантией результата. Доверьте всю технику и работу с текстами профессионалам, и увеличьте поисковый трафик на ваш веб-ресурс от 50% до 500%.

Источник: https://bbs-studio.ru/blog/seo/seo-software-1-0-screaming-frog-seo-spider.html