Главная → Блог → Дубли страниц: как найти и убрать без потери трафика
Техническое SEO · инструкция

Дубли страниц: как найти и убрать без потери трафика

Артём АринкинОбновлено: ноябрь 2026~9 минут
Дубли страниц: как найти их на сайте и убрать без потери трафика

Дубли страниц — это адреса одного сайта с одинаковым содержимым. Они появляются из-за параметров в URL, настроек CMS и зеркал сайта. Найти их проще всего в Яндекс Вебмастере и Search Console, а убирают дубли редиректом 301, тегом canonical или директивой Clean-param. Выбор зависит от того, нужен ли адрес посетителям.

Ниже разберу, какие дубли бывают, где их искать и какой инструмент ставить в каждом случае. Перед правками важно одно: сначала посмотреть данные, потому что поспешная склейка отбирает трафик чаще, чем сами дубли.

Что считается дублем страницы

Яндекс называет дублями страницы одного сайта, доступные по разным адресам с одинаковым содержимым. Робот может объединить их в группу и оставить в поиске одну. Google делает то же самое и называет процесс канонизацией. Подробнее об этом механизме — в статье про canonical.

Чаще всего одна страница выглядит для робота так:

https://site.ru/divany/
https://site.ru/divany
https://www.site.ru/divany/
https://site.ru/divany/?utm_source=vk
https://site.ru/divany/?sort=price

На аудитах я делю дубли на три группы, потому что лечатся они по-разному.

Полные технические дубли. Содержимое совпадает целиком: версии с www и без, http и https, адрес со слешем на конце и без него, главная по адресу /index.php.

Дубли из-за параметров. Метки UTM, сортировка, идентификаторы сессий, параметры фильтров, которые не меняют список товаров.

Смысловые дубли. Разные адреса, почти один текст: товар лежит в нескольких категориях, теги и архивы в блоге повторяют рубрику, страницы услуги отличаются только названием города.

Третья группа самая спорная. Похожие страницы не всегда ошибка: если у них разный интент и каждая собирает свой спрос, склеивать их вредно. Яндекс отдельно уточняет, что региональные поддомены с одинаковым контентом дублями не считает.

Чем дубли вредят сайту

Штрафа за сам факт дублей я в документации не встречал. Проблемы у них практические, и Яндекс с Google описывают их почти одинаково:

У владельца сайта это выглядит так: позиция по важному запросу прыгает, а в отчётах за неё отвечают то карточка, то адрес с меткой. Для сайта на двадцать страниц это мелочь, а вот в интернет-магазине с фильтрами копии легко обгоняют по числу настоящие страницы.

Откуда берутся дубли

На сайтах клиентов я чаще всего нахожу одни и те же причины:

Источник Пример Откуда растёт
Не настроено главное зеркало site.ru и www.site.ru отвечают кодом 200 Хостинг, настройки сервера
Слеш в конце адреса /divany и /divany/ открываются оба CMS, правила сервера
Рекламные метки ?utm_source=vk, ?yclid=… Реклама, рассылки
Сортировка и вид каталога ?sort=price, ?view=list Шаблон каталога
Товар в нескольких разделах /divany/model/ и /akcii/model/ Структура каталога
Служебные страницы CMS теги, архивы автора, версия для печати Настройки CMS
Тестовая копия сайта dev.site.ru открыт для роботов Разработка

Как найти дубли страниц: четыре проверки

Начинаю всегда с данных поисковиков. Они показывают дубли, которые робот уже увидел, а значит, именно с этими адресами надо работать в первую очередь.

Яндекс Вебмастер

Откройте раздел «Страницы в поиске», вкладку «Исключённые страницы» и выберите статус «Удалено: Дубль». Тот же список можно выгрузить архивом: у дублей там статус DUPLICATE. Если копии создают GET-параметры, Вебмастер покажет уведомление в «Диагностике сайта». Где что лежит в кабинете, я разбирал в инструкции по Яндекс Вебмастеру.

Google Search Console

В отчёте об индексировании страниц смотрите три статуса:

Статус Что значит Что делать
Вариант страницы с тегом canonical Страница верно указывает на основную версию Ничего
Страница является копией. Канонический вариант не выбран пользователем Google сам выбрал другой адрес основным Проверить выбор, при ошибке указать canonical
Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают Ваше указание не принято Проверить адрес в инструменте проверки URL, сравнить содержимое страниц

Сами по себе эти статусы не ошибка: копия просто не показывается в поиске. Тревожиться стоит, когда основным выбран не тот адрес.

Обход сайта краулером

Программы вроде Screaming Frog или SiteAnalyzer обходят сайт как робот и находят страницы с одинаковыми Title, H1 и содержимым. Так видно дубли, которые поисковик ещё не нашёл. Отсортируйте результат по Title и начните с самых больших групп совпадений.

Ручная проверка зеркал

Откройте в браузере четыре версии главной: http и https, с www и без. Потом внутреннюю страницу со слешем на конце и без него. Правильная картина: один адрес открывается, остальные перенаправляют на него кодом 301. Занимает это пару минут, а находит самый частый тип дублей.

Как убрать дубли: что выбрать

Вопрос, с которого стоит начинать, — нужен ли этот адрес человеку. От ответа зависит инструмент.

Как выбрать способ убрать дубль страницы
Как выбрать способ убрать дубль страницы
Тип дубля Решение Комментарий
www, http, слеш в конце Редирект 301 на основной адрес Настраивается один раз правилом на весь сайт
Метки UTM и другие параметры Clean-param для Яндекса и canonical Адрес должен работать, рекламу ломать нельзя
Сортировка, вид каталога Canonical на страницу без параметра Clean-param тоже подходит
Товар в нескольких разделах Один постоянный адрес товара или canonical Лучше править структуру
Версия для печати, служебные страницы Noindex Сначала проверьте, что на них нет трафика
Тестовая копия сайта Пароль на уровне сервера Закрытие только в robots.txt ненадёжно
Пагинация каталога Каждой странице свой canonical Google не советует делать первую страницу канонической для всей серии

Редирект 301

Посетитель и робот сразу попадают на нужный адрес, а копия уходит из поиска. Применяйте редирект, когда адрес больше не нужен. Настройка на разных серверах описана в инструкции по 301 редиректу. Яндекс при проблеме со слешем советует именно 301: canonical в этом случае может игнорироваться.

Canonical

Подходит, когда адрес должен работать для людей: страница с сортировкой нужна покупателю, но в поиске ей делать нечего. Google считает тег сильным сигналом, но окончательный выбор оставляет за собой. Основная страница ссылается на себя, адрес указывается полностью.

Clean-param

Директива для robots.txt, которую использует Яндекс. Она говорит роботу не учитывать незначащие параметры:

User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign /page

Без указания адреса правило работает на весь сайт. Google эту директиву не поддерживает, поэтому для него на тех же страницах нужен canonical. Как устроен файл целиком, я показывал в статье про robots.txt.

Robots.txt и noindex

Здесь поисковики расходятся. Яндекс перечисляет Disallow среди способов убрать дубль. Google не советует использовать robots.txt и noindex для выбора основной страницы: запрещённый адрес всё равно может попасть в индекс, а noindex полностью убирает страницу из поиска. Для служебных страниц noindex годится, для склейки дублей лучше 301 или canonical.

Риск. Не ставьте Disallow и canonical на одну страницу. Закрытую страницу робот не читает и тег на ней не увидит.

Где искать дубли на разных движках

У каждой CMS свои привычные источники копий. Когда знаешь их заранее, проверка занимает меньше времени.

Движок Что проверить в первую очередь
WordPress Страницы вложений, архивы меток и авторов, параметр replytocom в комментариях, короткие адреса вида ?p=123
1С-Битрикс Адреса с /index.php, параметры сортировки и фильтра, постраничная навигация вида ?PAGEN_1=
Самописный каталог Один товар в нескольких разделах, регистр букв в адресе, параметры сессии
Конструкторы сайтов Технические адреса страниц, тестовый поддомен, скрытые черновики в sitemap

Для WordPress SEO-плагины обычно сами ставят canonical. Проверять всё равно стоит на готовой странице: откройте код и посмотрите, какой адрес указан и совпадает ли он с адресом в браузере.

С фильтрами каталога решение принимайте отдельно для каждого типа. Страница «диваны угловые» может собирать свой спрос, и тогда ей нужны собственный адрес, заголовок и текст, а закрывать её от поиска будет ошибкой. Комбинации вроде «цена по возрастанию, 48 на странице» спроса не имеют, им достаточно canonical. Границу здесь проводит семантика: сначала посмотрите, ищут ли такой вариант люди.

Частые ошибки при чистке дублей

Больше всего вреда я вижу от спешки. Владелец получает отчёт сервиса со списком «дублей» и за вечер склеивает всё подряд. Вот что проверяю перед правками:

Отдельная грабля — склейка на страницу, которая слабее копии. Если поисковик показывает адрес с меткой и клики идут туда, сначала убедитесь, что на основной версии есть всё содержимое копии. Вторая частая ошибка — лечить следствие: убрать найденные копии и оставить шаблон, который их создаёт. Через месяц список вернётся.

Если дублей много и непонятно, где реальная проблема, а где шум отчёта, это отдельный блок в моём SEO-аудите сайта: смотрю данные поисковиков и даю приоритеты, что править первым. Для первого прохода подойдёт самостоятельный чек-лист.

Как не допустить новых дублей

Разовая чистка без профилактики быстро теряет смысл. Несколько правил закрывают большую часть случаев:

Если сайт ведёт подрядчик, эти пункты удобно записать в требования к разработке. Исправить шаблон до запуска проще, чем потом разбирать тысячи адресов.

Как проверить, что дубли ушли

Изменения поисковик учтёт при следующем посещении сайта. Яндекс пишет, что ненужная страница выйдет из поиска в течение трёх недель, поэтому раньше этого срока делать выводы рано. Проверяйте результат так:

  1. В Вебмастере откройте «Страницы в поиске» и посмотрите, исчез ли адрес из индекса.
  2. В Search Console проверьте адрес и убедитесь, что выбранный Google канонический URL совпадает с вашим.
  3. Сравните клики и показы основной страницы до и после. Просадка в первые недели возможна, смотрите на тренд.
  4. Раз в квартал повторяйте обход краулером: новые дубли появляются вместе с новыми разделами и плагинами.

Проверю дубли на вашем сайте

Скиньте адрес сайта: бесплатно посмотрю, какие дубли мешают и что с ними делать в первую очередь

Получить разборили оставьте заявку на бесплатный разбор
Артём Аринкин
Артём Аринкин
Основатель SEO Control System

Строю бизнесу управляемый канал клиентов из поиска: спрос → выдача → структура → упаковка → заявки. Кейсы в цифрах.

Источники

  1. Как удалить дубли страниц — Яндекс Вебмастер — что Яндекс считает дублями, как их найти и устранить
  2. Директива Clean-param — Яндекс Вебмастер — синтаксис директивы для незначащих параметров
  3. Как указать канонический URL — Google Search Central — способы склейки, сила сигналов и предупреждения
  4. Отчёт об индексировании страниц — Search Console — статусы про копии и канонические версии

Частые вопросы

Как проверить сайт на дубли страниц бесплатно?

Возьмите Яндекс Вебмастер (статус «Удалено: Дубль» в исключённых страницах) и отчёт об индексировании в Search Console. Оба бесплатны и показывают дубли, которые робот уже обнаружил. Зеркала можно проверить вручную в браузере.

За дубли страниц накладывают санкции?

В документации Яндекса и Google дубли описаны как техническая проблема: они мешают показывать нужную страницу и тратят обход робота. Другое дело — массовое создание почти одинаковых страниц ради запросов, такое Google относит к спаму.

Что лучше для дублей: 301 или canonical?

Если адрес больше не нужен людям, ставьте 301. Если страница должна открываться, например сортировка в каталоге, ставьте canonical. Для меток в Яндексе к этому добавляется Clean-param.

Сколько времени дубли уходят из индекса?

Робот учтёт правки при следующем посещении страницы. Яндекс называет срок до трёх недель. Для Google точного срока нет, он зависит от частоты обхода сайта.

Страницы услуг в разных городах считаются дублями?

Если отличается только название города, робот может счесть такие страницы почти одинаковыми. Яндекс не считает дублями региональные поддомены, но посетителю всё равно нужны на каждой странице свои условия, адреса и примеры работ.