Как избавиться от дублей URL

От дублей URL избавляются не одним инструментом, а комбинацией решений: 301-редиректов, rel="canonical", noindex, настройки генерации URL, правил в robots.txt и единых стандартов адресов. Главное — определить, какие URL должны быть в индексе, а какие нет, и закрепить это технически.

Шаг 1. Зафиксировать каноническую версию сайта

Перед любыми правками выберите единую базовую версию:

HTTPS или HTTP → HTTPS
www или без www → один вариант
со слешем или без → один формат
регистр → только нижний

Что сделать

настроить 301-редиректы на уровне сервера;
проверить, что все версии ведут на один URL.

Это убирает базовые технические дубли.

Шаг 2. Устранить дубли из-за параметров URL

Частая причина дублей:

/page

/page?utm_source=google

/page?sort=price

Решения:

rel="canonical" на чистый URL;
noindex для служебных параметров;
исключение параметров в настройках веб-мастеров;
исправление логики генерации ссылок.

Параметры ≠ всегда зло. Если страница нужна для SEO — она должна быть уникальной по контенту.

Шаг 3. Правильно работать с редиректами

Используйте 301, если:

страница навсегда перенесена;
старая версия не нужна пользователю;
нужно склеить URL без альтернатив.

Правила:

без цепочек редиректов;
редирект → сразу на конечную страницу;
не смешивать 301 и canonical для одной задачи.

Шаг 4. Использовать canonical там, где нужно

rel="canonical" подходит, если:

страницы доступны пользователю;
контент одинаковый или очень похожий;
в индексе нужна одна версия.

Важно:

canonical → на страницу с кодом 200;
один canonical на страницу;
самоканоникализация обязательна.

Canonical — рекомендация, поэтому его нужно подтверждать качеством и структурой.

Шаг 5. Закрыть ненужные URL от индексации

Используйте noindex, если страница:

полезна пользователю;
но не должна участвовать в поиске.

Типовые примеры:

фильтры без SEO-ценности;
служебные страницы;
результаты внутреннего поиска.

Не используйте robots.txt для скрытия дублей — поисковик их не склеит.

Шаг 6. Навести порядок в пагинации

Ошибки с пагинацией — частый источник дублей.

Шаг 7. Исправить дубли в контенте

Если дубли создаются логикой сайта:

одинаковые категории;
одинаковые услуги в разных разделах;
шаблонные тексты.

Решения:

объединение страниц + 301;
дифференциация контента;
пересборка структуры сайта.

Шаг 8. Проверить sitemap и внутренние ссылки

в sitemap должны быть только канонические URL;
внутренние ссылки → только на основную версию;
исключить ссылки на параметры и дубли.

Поисковик ориентируется на внутреннюю навигацию.

Шаг 9. Проверить результат

После правок:

пересканируйте сайт SEO-краулером;
проверьте отчёты веб-мастеров;
посмотрите статусы «Дубли» / «Выбрана другая каноническая».

Исправления видны не сразу — дайте время переобходу.

Типовые ошибки при борьбе с дублями

использовать только canonical без редиректов;
закрывать дубли в robots.txt;
делать canonical на редирект;
оставлять параметры во внутренних ссылках;
решать симптом, а не причину.

Как дубли URL влияют на ИИ-поиск

ИИ-системы:

хуже выбирают источник при дублях;
могут взять не ту версию страницы;
снижают доверие к сайту.

Чистая структура URL повышает шансы страницы быть использованной в ИИ-ответах.

Системный подход

В зрелых проектах борьба с дублями:

часть стратегии индексации;
фиксируется на уровне архитектуры сайта;
регулярно проверяется в технических аудитах.

Для этого используют комплексные SEO-платформы, такие как Rookee.ru, где дубли URL, каноникализация и индексация управляются централизованно, а не точечными правками.