Главная → Блог → Clean-param в robots.txt: как убрать дубли из-за параметров в URL
Техническое SEO · инструкция

Clean-param в robots.txt: как убрать дубли из-за параметров в URL

Артём АринкинОбновлено: ноябрь 2026~7 минут
Директива Clean-param в robots.txt — как убрать дубли страниц из-за параметров в URL

Clean-param — директива robots.txt, которая говорит роботу Яндекса, какие GET-параметры в адресе не меняют содержимое страницы. Робот перестаёт обходить копии вида /catalog/?sort=price как отдельные страницы и учитывает основной адрес. Записывается так: Clean-param: sort&ref /catalog/. Google директиву не поддерживает — для него нужен canonical.

Разберу, откуда берутся такие дубли, как правильно написать правило, чем Clean-param лучше Disallow для этой задачи и как проверить, что всё сработало. Общие правила robots.txt — в отдельной статье про robots.txt, здесь только параметры.

Откуда берутся дубли из-за параметров

GET-параметры — всё, что идёт в адресе после знака ?. Часть из них меняет содержимое страницы: номер товара, страница пагинации, поисковый запрос. Другая часть на содержимое не влияет:

Для робота /catalog/divany/ и /catalog/divany/?sort=price — разные адреса. Если обе версии отдают одинаковый текст, получается дубль. На сайте с фильтрами и сортировками таких адресов бывают тысячи.

Что это даёт на практике. Робот тратит обход на копии вместо новых страниц. Поведенческие и другие сигналы размазываются между адресами. В поиск может попасть версия с параметром вместо чистой. В аудитах интернет-магазинов я регулярно вижу, что исключённых из поиска «дублей» в Вебмастере в разы больше, чем полезных страниц.

Важно. Часть служебных параметров Яндекс отбрасывает сам. В справке перечислены, например, ysclid, yrclid, utm_source, utm_medium, utm_campaign, utm_content, utm_term. Для них ничего прописывать не нужно — в Вебмастере такие адреса просто будут помечены как исключённые по Clean-param.

Синтаксис директивы Clean-param

Формат из справки Яндекса:

Clean-param: p0[&p1&p2&..&pn] [path]

В первом поле — параметры, которые робот должен игнорировать, через знак &. Во втором, необязательном, — префикс пути, к которому правило применяется. Если путь не указан, правило действует на весь сайт.

Правила, которые важно помнить:

Правило Что это значит
Регистр учитывается Sort и sort — разные параметры. Пишите так, как параметр выглядит в адресе
Длина правила — до 500 символов Длинный список лучше разбить на несколько строк
В пути допустимы A-Za-z0-9 . - / * _ Кириллица и другие символы в префиксе не работают
В конец префикса неявно добавляется * /forum/showthread.php охватит все адреса, которые с этого начинаются
Директива межсекционная Её можно писать в любом месте файла, User-agent на неё не влияет

Последний пункт часто путают. Clean-param не нужно дублировать в каждой секции. Но если для робота Яндекса у вас есть отдельная секция User-agent: Yandex с другими директивами, справка рекомендует собрать все правила для него в одном месте — так файл проще читать и проверять.

Примеры Clean-param для типовых случаев

Сортировка и вид каталога

Clean-param: sort&order&view /catalog/

Все адреса каталога с этими параметрами робот сведёт к адресу без них. Пагинацию (page) сюда не добавляйте: вторая и третья страницы каталога содержат другие товары, это не копия.

Идентификатор сессии на всём сайте

Clean-param: sid

Путь не указан — правило работает для всех страниц.

Реферальные метки партнёров

Clean-param: ref&from&partner

Партнёрские ссылки продолжают работать и передавать метки в аналитику: директива влияет только на то, как робот обходит и учитывает адреса.

Один параметр в разных разделах

Если параметр встречается в нескольких скриптах или разделах, справка предлагает писать отдельную строку на каждый путь:

Clean-param: s /forum/showthread.php

Clean-param: s /forum/index.php

Clean-param или Disallow: что выбрать

Оба способа убирают адреса с параметрами из поиска, но работают по-разному.

Clean-param Disallow
Что делает Сводит адреса с параметрами к основному Запрещает роботу обходить адреса
Сигналы со страниц-копий Передаются основному адресу Теряются
Когда использовать Параметр не меняет содержимое: сортировки, сессии, метки Служебные разделы, которые вообще не должны быть в поиске
Поддержка Только Яндекс Яндекс и Google

Справка Яндекса прямо рекомендует для дублей с параметрами именно Clean-param: накопленные показатели переходят к основному адресу. Disallow приоритетнее. Если адрес закрыт через Disallow и одновременно попадает под Clean-param, он не будет проиндексирован вообще.

Отсюда частая ошибка, которую я нахожу в robots.txt: одновременно стоят Disallow: /*?sort= и Clean-param: sort. Disallow перекрывает Clean-param, и смысл второго правила пропадает. Если цель — убрать копии с параметрами, оставьте только Clean-param.

Clean-param и Disallow: что происходит с адресом-копией
Clean-param и Disallow: что происходит с адресом-копией

Как настроить Clean-param: пошагово

  1. Соберите список параметров. В Вебмастере откройте «Индексирование → Страницы в поиске» и посмотрите исключённые адреса, а также раздел «Диагностика»: Яндекс присылает уведомление, если находит дубли с незначащими GET-параметрами. Выгрузите адреса и посмотрите, какие параметры встречаются чаще всего.
  2. Проверьте, что параметр действительно не меняет страницу. Откройте адрес с параметром и без него. Если меняется содержимое — список товаров, текст, цена — параметр значимый, его в Clean-param не добавляют.
  3. Сгруппируйте по разделам. Параметры, которые есть везде, пишите без пути. Параметры конкретного раздела — с префиксом.
  4. Допишите строки в robots.txt. Не удаляя существующие правила. Если параметр раньше был закрыт через Disallow, а вы переходите на Clean-param, уберите Disallow для него.
  5. Проверьте файл в Вебмастере. Инструмент «Анализ robots.txt» покажет синтаксические ошибки и позволит проверить конкретные адреса.
  6. Подождите и проверьте результат. Робот применит правила при следующем обходе. Через несколько недель в «Страницах в поиске» адреса с параметрами должны появиться среди исключённых с соответствующей причиной.

Как подключить сайт к Вебмастеру и где какие отчёты, я подробно разобрал в статье про Яндекс Вебмастер.

Риск. Не добавляйте в Clean-param параметры, от которых зависит содержимое: page, id, q, параметры фильтров, по которым у вас есть посадочные страницы. Иначе Яндекс склеит разные страницы с основной, и они выпадут из поиска.

Фильтры каталога: отдельный случай

С фильтрами в интернет-магазинах нужно решать по спросу, а не механически. Если по сочетанию «диваны + угловые + велюр» есть поисковый спрос, такая страница фильтра может быть полноценной посадочной. Тогда ей нужен отдельный понятный адрес (лучше ЧПУ без параметров), свой заголовок и текст — и в Clean-param она не попадает.

Если фильтр технический и спроса под ним нет (например, «сначала новые» или выбор количества товаров на странице), его параметры можно смело отправлять в Clean-param.

Это решение — одна из задач технического аудита: какие сочетания фильтров открывать, какие сводить. Я разбираю его на данных Wordstat и выдачи, а не по ощущениям. Если хотите, чтобы это сделали на вашем сайте, — SEO-аудит начинается именно с таких вопросов.

Что делать для Google

Google не поддерживает Clean-param, а инструмент управления параметрами URL в Search Console больше не работает. Для Google задача решается так:

Подробно о том, как работает канонический адрес и где его чаще всего ломают, — в статье про canonical. А общая картина по копиям страниц — в разборе дублей страниц.

На практике хорошая схема — оба инструмента сразу: Clean-param для Яндекса и canonical для Google. Они друг другу не мешают.

Частые ошибки при работе с Clean-param

Найду дубли и лишние адреса на вашем сайте

Скиньте ссылку — посмотрю robots.txt, параметры и индексацию и скажу, что мешает нужным страницам попасть в поиск

Получить разборили оставьте заявку на бесплатный разбор
Артём Аринкин
Артём Аринкин
Основатель SEO Control System

Строю бизнесу управляемый канал клиентов из поиска: спрос → выдача → структура → упаковка → заявки. Кейсы в цифрах.

Источники

  1. Директива Clean-param — Справка Яндекс Вебмастера
  2. Как найти дубли страниц с незначащими GET-параметрами — Блог Яндекса для вебмастеров
  3. Как указать канонический URL — Google Search Central

Частые вопросы

Нужно ли прописывать Clean-param для UTM-меток?

Обычно нет. Яндекс сам отбрасывает распространённые служебные параметры, в том числе utm_source, utm_medium, utm_campaign, utm_content и utm_term. Прописать их явно не запрещено, но это не обязательно.

В какую секцию robots.txt писать Clean-param?

Директива межсекционная: её можно указать в любом месте файла. Если у вас есть отдельная секция для робота Яндекса, удобнее держать все его правила вместе.

Можно ли указать несколько параметров в одной строке?

Да, через знак &: Clean-param: sort&view&sid. Длина одного правила ограничена 500 символами.

Работает ли Clean-param в Google?

Нет, это директива только Яндекса. Для Google используйте тег canonical на страницах с параметрами и не ставьте адреса с параметрами во внутренние ссылки и sitemap.

Как понять, что Clean-param сработал?

Проверьте файл в инструменте «Анализ robots.txt» Вебмастера. После повторного обхода адреса с параметрами появятся в «Страницах в поиске» среди исключённых по Clean-param.