Битые ссылки на сайте: как их найти и исправить (сервисы для проверки)

Ссылки, ведущие пользователей в никуда, – огромная головная боль для любого уважающего себя проекта. Из-за негативного отношения посетителей к подобным ошибкам владельцев сайта, поисковые системы не глядя снижают за них индекс качества. Отслеживать работоспособность всех активных ссылок, особенно когда речь идёт о массивных ресурсах с тысячами страниц, мягко говоря, непросто. Поэтому, зачастую, для анализа их активности используют специализированные сервисы.

Наиболее болезненными битые ссылки бывают в случае работы с онлайн-магазинами. Обширные каталоги включают в себя множество активных внутренних ссылок, ведущих на карточки товаров.

Перенастройка шаблона или движка могут привести к необходимости указания правильных редиректов со старых URL на новые. Однако такие работы сопряжены с определёнными сложностями и рисками. Одна маленькая ошибка способна привести к катастрофическим последствиям и полной недоступности товаров для клиентов.

Если не отслеживать и не устранять такие неисправности, бизнес попросту погибнет, погрузившись с головой в пучину всевозможных фильтров со стороны поисковых систем. Ведь недовольные пользователи приведут к резкому росту числа отказов и снижению поведенческих факторов.

Что такое битые ссылки на сайте?

Обычно, битыми ссылки становятся в тот момент, когда сайт, на который они ведут, перестаёт существовать или оказывается недоступен, в силу тех или иных обстоятельств. При этом, посетители, кликающие по нерабочей ссылке, видят сообщение об ошибке, чаще всего 404-й. Существуют различные виды битых ссылок, например:

• Внутренние – критически важная инфраструктура вашего сайта, оказавшаяся разрушенной. Внутренние ссылки обеспечивают перелинковку страниц между собой, позволяя сайту равномерно распределять свой вес между отдельными текстами. И когда пути соединения разрушаются, ухудшается и восприятие всего сайта поисковыми алгоритмами. Ведь это явный сигнал о заброшенности вашего проекта.

• Внешние – более лёгкие ошибки модерации. Когда внешний ресурс становится неактивным, необходимо удалять или заменять ссылки, ведущие на него. Это особенно актуально, когда речь идёт о лендингах в цепочке продаж. Когда оффер, на который вы сливаете трафик, перестаёт работать, очень важно быстро заменить все коммерческие ссылки на доступные аналоги. 

Независимо от того, внутренние они или внешние, битые ссылки в любом случае сильно вредят вашему сайту. Они снижают лояльность вашей аудитории, раздражают и ухудшают поведенческие факторы.

В идеале, стоит подстраховаться и оснастить все страницы с ошибками различными вариантами дальнейшей навигации. Например, кнопкой, позволяющей вернуться назад или перейти к главной странице. В общем – остаться на вашем сайте. Если не озаботится хотя бы такими элементами навигации на проблемных страницах, трафик будет утекать безвозвратно.

С точки зрения поисковой системы, пара битых ссылок – это ещё не повод принимать серьёзные меры. Но когда их становится много, можете ожидать скорейшего наложения фильтров или банального исключения страниц из органической выдачи. 

Куда ведут битые ссылки и как влияют на SEO?

Основной вред битых ссылок, с точки зрения SEO, заключается в снижении поведенческих факторов и значительном росте показателя отказов. Нарушение внутренней оптимизации, к которой приводят битые ссылки, вызывает неверное распределение ссылочного веса между страницами. Перетягивая на себя часть авторитетности донора, они способны серьёзно потрепать вашу статистику.

Тем не менее, не стоит воспринимать их, как смертный приговор ресурсу. Битым ссылкам часто приписывают невесть какие эффекты и свойства. Например, есть расхожее мнение, что они снижают краулинговый бюджет поисковых ботов. Но это в корне неверно. Об этом говорил сотрудник Google, Джон Мюллер. Исходя из его слов, можно сделать вывод, что повторное сканирование, которое проводится ботом, в случае нахождения битых ссылок, не наносит ущерб краулинговому бюджету сайта.  

Вот только не все неисправные ссылки приведут пользователей на страницу с 404-й ошибкой. И вот это уже проблема, с точки зрения SEO-продвижения сайта. 

Если взглянуть на техническую документацию Google, где разбираются все страницы, наносящие вред краулинговому бюджету, то среди них есть и один из вариантов 404-й ошибки, но только в её «мягкой» форме – 404 SOFT. Такой вариант можно наблюдать в ситуациях, когда вместо сообщения об ошибке, сервер выдаёт HTTP-код с ответом 200 OK. В результате поисковый бот воспринимает её, как актуальную и, соответственно, сканирует.

Таким образом можно бесцельно сливать краулинговый бюджет на несуществующие страницы, вместо того, чтобы добавлять в индекс действующие и полезные. 

Как найти и проверить битые ссылки на сайте?

Если на одностраничниках или совсем молодых блогах вы можете банально вручную прокликать все проставленные ссылки, то для крупных сайтов этот способ просто бессмысленный. Так что придётся воспользоваться услугами сторонних сервисов. Зачастую, они выдают неточные или некорректные результаты анализа, поэтому настоятельно рекомендуется сочетать сразу несколько инструментов для получения более релевантной статистики. 

Инструменты для работы с битыми ссылками могут быть принципиально различными. Это и онлайн-сервисы и предустанавливаемое программное обеспечение, и всевозможные расширения и плагины. Каждый специалист выбирает для себя набор, отвечающий его целям и задачам.

Google Search Console

Зачастую, именно Google Search Console используют в первую очередь. Здесь вам нужно отыскать отчёт о покрытии. Для этого перейдите в раздел «Индекс» и выберете в нём пункт «Покрытие». Укажите в настройках «Статус», действие «Исключено» и код ошибки «404».

В итоговом отчёте окажутся все удалённые страницы. Искать страницы с указанными URL-адресами можно вручную. Если речь не идёт о массовых отказах, использовать отдельные инструменты для этого смысла особого нет. 

Яндекс.Вебмастер

У Яндекс.Вебмастера есть возможность проводить «Обход по счётчикам». Такая функция доступна в разделе «Индексирование». Если отсортировать полученные результаты по коду ошибки и выбрать только те, которые содержат 404, вы получите полноценный отчёт по удалённым страницам. Всё, что в него попадает – нуждается в вашем внимании и определённых ремонтных работах. 

Google Analytics

У поисковой системы Google есть и иные инструменты для работы с битыми ссылками. Одним из них стала Google Analytics. Правда для успешного поиска нужно будет точно знать, какой заголовок указан для страниц с 404-й ошибкой. В большинстве случаев – это «Страница не найдена» или какие-то вариации такого названия. 

Для сбора статистики нужно всего лишь открыть «Контент сайта», выбрать «Все страницы» и в настройках поиска указать название страницы с ошибкой. 

Правда, в некоторых случаях, движок сайта не прописывает автоматически заголовки для страниц с ошибками. Тогда придётся воспользоваться другими способами отлова подобных проблем.

Broken Link Checker

Отличный сервис для онлайн-проверок работоспособности ссылок. Он снискал популярность среди маркетологов и SEO-специалистов. Сервис полностью бесплатный, правда только в том случае, если объём вашего сайта не превышает трёх тысяч страниц. Если вы не укладываетесь в норматив, придётся либо оплачивать проверку, либо ограничиваться анализом только трёх тысяч страниц, причём сервис сам выберет, каких именно. В итоговой статистике, составляющей отчёт о проверке, содержатся:

• код ошибки;

• адрес страницы;

• текст ссылки;

• битая ссылка.

Таким образом вы получаете всю необходимую информацию в одном месте. Этот инструмент идеально подходит для работы с небольшими проектами. 

Netpeak Spider

А это уже полноценное программное обеспечение, которое придётся устанавливать на ваш персональный компьютер. Оно включает в себя широкий диапазон разнообразных возможностей, например: 

• отслеживание основных тегов;

• проверка состояния редиректов;

• сбор общей статистики сайта.

Это лишь несколько вариантов применения Netpeak Spider. Для нахождения битых ссылок, необходимо указать в строке поиска код 404 ошибки и URL-адрес вашего сайта. В отчёте окажутся все ссылки, выдающие в качестве ответа ошибку с заданным кодом.

Check My Links

Расширение для Google Chrome, которое можно использовать в качестве варианта проверки страницы на битые ссылки. Его основная проблема заключается в том, что оно работает только с одной конкретной страницей. То есть просканировать объёмный ресурс им будет крайне проблематично.

Тем не менее, для анализа одной статьи, содержащей большое количество внешних и внутренних ссылок, расширение подходит прекрасно. Коды ответов сервера, содержащие информацию об ошибках, и полные URL-адреса ссылок можно просматривать в консоли Google Chrome. 

Xenu’s Link Sleuth

Полностью бесплатная англоязычная программа. Она позволяет анализировать работоспособность ссылок, захватывая корневую страницу и путешествуя по всем, размещённым ссылкам.

Инструмент включает в себя широкие возможности для настройки фильтров и запуска множества одновременных потоков. Итоговая статистика сводится в HTML-отчёт. 

Как и всё бесплатное, Xenu’s Link Sleuth работает достаточно медленно. Поэтому для проверки крупных ресурсов, такие программные продукты в принципе непригодны. Они помогают редактировать личные страницы и блоги, но когда речь заходит о коммерческих сайтах, интернет-магазинах и прочих масштабных проектах, лучше будет выбрать платный инструмент с высокой производительностью. 

Как исправить или удалить битые ссылки?

После сбора статистики по неработающим ссылкам, приходит время принятия соответствующих мер. Устранение проблемы можно осуществить различными способами.

• Заменить битую ссылку – вручную или с помощью внешнего программного обеспечения. Всё зависит от объёмов работ. Актуализация ссылок – это полезная процедура для сайта. Заниматься ею стоит и помимо ремонтных работ, в случае обнаружения неисправностей. 

• Настройка переадресации – всем известный и широко применяемый 301-ый редирект. Работать с ним будет удобнее, если вы установите готовый плагин. Для WordPress можно взять, например, Redirection. В целом выбрать можно любой инструмент. Самое главное – чтобы он работал без изменений .htaccess. 

• Удалить неисправные ссылки – если они не несут серьёзной полезной нагрузки, вы можете выбрать самый простой и быстрый способ и избавиться от них. Так следует поступить, если речь идёт, например, о внутренней перелинковке. Когда для контента нет достаточно релевантных страниц, добавлять ссылки бессмысленно. 

• Восстановление удалённых страниц – речь идёт о внутренней перелинковке. В процессе роста и развития сайта, часто возникают ситуации, когда какие-то страницы оказываются удалены, а для других настраиваются редиректы или заглушки. Нередко, проще восстановить удалённые элементы сайта и скорректировать их таким образом, чтобы они продолжали соответствовать общей стратегии развития проекта. Особенно, когда они активно участвуют в процессе внутренней перелинковки. Такое бывает: удаляете страницу, считая её бесполезной, а оказывается, что она оказывала ключевое влияние на процесс перераспределения внутреннего веса между наиболее посещаемыми статьями. В такой ситуации наиболее правильным решением будет восстановить её, а не переделывать карту сайта.

Не забывайте о необходимости постоянно мониторить работу сайта и анализировать динамику его статистики. Происходящие изменения всегда подскажут вам, что вы делаете верно, а что – нет.