Чтобы закрыть сайт от индексации, выберите способ под задачу: тестовый или ещё не готовый сайт закрывайте паролем, отдельную страницу — метатегом noindex, PDF и другие файлы — заголовком X-Robots-Tag, а служебные разделы, которые роботу незачем обходить, — правилом Disallow в robots.txt. Одна строка в robots.txt не гарантирует, что страницы исчезнут из выдачи.
Ниже — какой способ выбрать в каждой ситуации, как не закрыть лишнего и как проверить, что запрет сработал.
Главное различие: обход, индекс и доступ
Почти все ошибки при закрытии сайта — из-за смешения трёх разных вещей.
- Обход. Robots.txt говорит роботу, какие адреса не нужно сканировать. Но если на закрытую страницу ведут ссылки с других сайтов, она может попасть в выдачу — это прямо написано и в справке Яндекса, и в документации Google.
- Индекс. Метатег
noindexили заголовокX-Robots-Tag: noindexговорят: страницу можно прочитать, но показывать в поиске нельзя. Чтобы робот увидел этот запрет, страница должна быть открыта для обхода. - Доступ. Пароль или авторизация закрывают содержимое от всех: и от роботов, и от случайных людей.
Подробно про сам файл robots.txt и его директивы я разбирал в статье про robots.txt. Здесь — что выбрать под конкретную задачу.
Какой способ выбрать: таблица по задачам
| Задача | Способ | Почему так |
|---|---|---|
| Сайт в разработке, тестовая копия | Пароль или авторизация | Закрывает от всех, не зависит от поведения роботов |
| Отдельная страница: «Спасибо за заявку», политика, акция | Метатег robots noindex |
Страница остаётся доступной людям, но не попадает в поиск |
| PDF, документы, картинки | HTTP-заголовок X-Robots-Tag: noindex |
В файл нельзя вставить метатег |
| Корзина, личный кабинет, внутренний поиск, фильтры | Disallow в robots.txt | Экономит обход, роботу там нечего делать |
| Часть текста страницы (для Яндекса) | Тег <noindex> |
Яндекс не индексирует содержимое внутри тега |
| Ссылка, которую не нужно учитывать | rel="nofollow", ugc, sponsored |
Подсказка роботу не учитывать ссылку |
| Запрет использования в ответах Алисы AI | Disallow для YandexAdditional в robots.txt |
Отдельный робот для нейроответов Яндекса |
| Удалённая страница | Код 404 или 410 | Страницы нет — она выпадет из индекса сама |
Как закрыть весь сайт
Сайт в разработке или тестовая копия
Лучший вариант — пароль на уровне сервера или авторизация. Тестовый поддомен вида dev.site.ru или test.site.ru должен быть недоступен без логина. Яндекс советует для таких страниц, закрытых от неавторизованных пользователей, отдавать код 403, 404 или 410.
Почему не robots.txt: тестовые адреса часто «утекают» — разработчик кидает ссылку в чат, подрядчик ставит её в портфолио, и робот узнаёт адрес. Если тестовый сайт проиндексируется, в поиске появится полная копия вашего сайта, и поисковик будет выбирать между двумя версиями.
Если пароль поставить нельзя
Тогда на каждой странице — метатег в блоке head:
<meta name='robots' content='noindex, nofollow'>
Или тот же запрет через заголовок сервера для всех ответов:
X-Robots-Tag: noindex, nofollow
Robots.txt с правилом Disallow: / можно добавить, только когда сайт ещё не был в индексе. Если страницы уже в поиске, сначала дождитесь, пока они уйдут по noindex, и только потом закрывайте обход.
noindex в шаблоне или галочки «Попросить поисковые системы не индексировать сайт» в настройках WordPress. Если вы столкнулись с этим, пригодится разбор почему страницы не индексируются.Как закрыть отдельную страницу
Для одной страницы метатег — самый надёжный способ. Он ставится в head страницы:
<meta name='robots' content='noindex'>
Значение none равно сочетанию noindex, nofollow — страница не индексируется, ссылки с неё не учитываются. Обычно достаточно noindex: ссылки с закрытой страницы на другие разделы сайта пусть работают.
Какие страницы обычно закрывают:
- страницы благодарности после отправки формы — иначе они попадают в поиск и портят статистику целей;
- результаты внутреннего поиска по сайту;
- служебные страницы личного кабинета, корзины, оформления заказа;
- временные лендинги под рекламу, которые дублируют страницы услуг;
- страницы с параметрами сортировки и фильтрации, если они не несут уникального спроса.
Чего закрывать не надо: политику конфиденциальности, страницу «О компании», контакты, реквизиты. Эти страницы помогают доверию к сайту, и поисковику полезно их видеть.
Как закрыть файлы и изображения
В PDF, документ Word или картинку метатег не вставить. Для таких файлов Google рекомендует HTTP-заголовок X-Robots-Tag. Его настраивают на сервере: например, для всех PDF в разделе с внутренними документами. Это делает разработчик или хостинг, через панель или конфигурацию сервера.
Если раздел с файлами вообще не должен быть доступен посторонним (договоры, прайсы для партнёров), закрывайте его авторизацией. Запрет индексации не защищает документ от того, кто знает прямую ссылку.
Как закрыть часть текста или ссылку
Для Яндекса можно скрыть фрагмент страницы тегом <noindex>…</noindex> или комментарием <!--noindex-->…<!--/noindex-->. Яндекс предупреждает: если не закрыть тег, скрытым окажется весь контент после него, а вложенные теги не работают. Google этот тег не поддерживает.
Для ссылок — атрибуты rel="nofollow", rel="ugc" (ссылки из комментариев и отзывов) и rel="sponsored" (рекламные). Это подсказки: робот может не учитывать такую ссылку, но не обязан не находить страницу, на которую она ведёт.
Как проверить, что запрет работает
- Код страницы. Откройте исходный код и найдите метатег robots — он должен быть внутри
head. - Ответ сервера. В Вебмастере — «Проверка ответа сервера», там видны заголовки, включая
X-Robots-Tag. - Robots.txt. Инструмент анализа robots.txt в Вебмастере показывает, разрешён ли обход конкретного адреса.
- Google. «Проверка URL» в Search Console покажет, разрешено ли индексирование и что увидел Googlebot.
- Через 2–4 недели — статус страницы в отчётах об индексировании: «Запрет индексирования» в Вебмастере, «Страница содержит директиву noindex» в Search Console.
Как быстро убрать страницу, которая уже в поиске
Noindex работает после того, как робот повторно зайдёт на страницу. Google пишет, что это может занять месяцы, и советует запросить повторное сканирование через проверку URL. Для срочных случаев:
- в Яндекс Вебмастере — инструмент «Удаление страниц из поиска», он работает для страниц, которые уже закрыты или отдают 404;
- в Search Console — инструмент «Удаления»: он скрывает страницу из выдачи временно, примерно на полгода, поэтому параллельно нужен постоянный запрет.
Не закрыли ли вы лишнего?
Пришлите сайт — проверю robots.txt, noindex и заголовки и скажу, что мешает индексации или, наоборот, светится в поиске зря
Получить разборили оставьте заявку на бесплатный разборИсточники
- Как запретить индексирование сайта или страниц — справка Яндекс Вебмастера
- Block Search indexing with noindex — документация Google о noindex и X-Robots-Tag
- Отчёт об индексировании страниц — статусы Search Console



