Главная → Блог → Как закрыть сайт от индексации правильно
Техническое SEO · инструкция

Как закрыть сайт от индексации правильно

Артём АринкинОбновлено: ноябрь 2026~6 минут
Как правильно закрыть сайт или страницу от индексации

Чтобы закрыть сайт от индексации, выберите способ под задачу: тестовый или ещё не готовый сайт закрывайте паролем, отдельную страницу — метатегом noindex, PDF и другие файлы — заголовком X-Robots-Tag, а служебные разделы, которые роботу незачем обходить, — правилом Disallow в robots.txt. Одна строка в robots.txt не гарантирует, что страницы исчезнут из выдачи.

Ниже — какой способ выбрать в каждой ситуации, как не закрыть лишнего и как проверить, что запрет сработал.

Главное различие: обход, индекс и доступ

Почти все ошибки при закрытии сайта — из-за смешения трёх разных вещей.

Подробно про сам файл robots.txt и его директивы я разбирал в статье про robots.txt. Здесь — что выбрать под конкретную задачу.

Риск. Самая частая ошибка: страницу закрывают в robots.txt и одновременно ставят на неё noindex. Робот не заходит на страницу, noindex не видит, и страница остаётся в выдаче без описания. Google прямо пишет: если краулер не может открыть страницу, он не увидит noindex.

Какой способ выбрать: таблица по задачам

Задача Способ Почему так
Сайт в разработке, тестовая копия Пароль или авторизация Закрывает от всех, не зависит от поведения роботов
Отдельная страница: «Спасибо за заявку», политика, акция Метатег robots noindex Страница остаётся доступной людям, но не попадает в поиск
PDF, документы, картинки HTTP-заголовок X-Robots-Tag: noindex В файл нельзя вставить метатег
Корзина, личный кабинет, внутренний поиск, фильтры Disallow в robots.txt Экономит обход, роботу там нечего делать
Часть текста страницы (для Яндекса) Тег <noindex> Яндекс не индексирует содержимое внутри тега
Ссылка, которую не нужно учитывать rel="nofollow", ugc, sponsored Подсказка роботу не учитывать ссылку
Запрет использования в ответах Алисы AI Disallow для YandexAdditional в robots.txt Отдельный робот для нейроответов Яндекса
Удалённая страница Код 404 или 410 Страницы нет — она выпадет из индекса сама

Как закрыть весь сайт

Сайт в разработке или тестовая копия

Лучший вариант — пароль на уровне сервера или авторизация. Тестовый поддомен вида dev.site.ru или test.site.ru должен быть недоступен без логина. Яндекс советует для таких страниц, закрытых от неавторизованных пользователей, отдавать код 403, 404 или 410.

Почему не robots.txt: тестовые адреса часто «утекают» — разработчик кидает ссылку в чат, подрядчик ставит её в портфолио, и робот узнаёт адрес. Если тестовый сайт проиндексируется, в поиске появится полная копия вашего сайта, и поисковик будет выбирать между двумя версиями.

Если пароль поставить нельзя

Тогда на каждой странице — метатег в блоке head:

<meta name='robots' content='noindex, nofollow'>

Или тот же запрет через заголовок сервера для всех ответов:

X-Robots-Tag: noindex, nofollow

Robots.txt с правилом Disallow: / можно добавить, только когда сайт ещё не был в индексе. Если страницы уже в поиске, сначала дождитесь, пока они уйдут по noindex, и только потом закрывайте обход.

Важно. При переносе сайта с тестового адреса на рабочий снимите все запреты. На аудитах регулярно вижу сайты, которые месяцами не индексируются из-за забытого noindex в шаблоне или галочки «Попросить поисковые системы не индексировать сайт» в настройках WordPress. Если вы столкнулись с этим, пригодится разбор почему страницы не индексируются.

Как закрыть отдельную страницу

Для одной страницы метатег — самый надёжный способ. Он ставится в head страницы:

<meta name='robots' content='noindex'>

Значение none равно сочетанию noindex, nofollow — страница не индексируется, ссылки с неё не учитываются. Обычно достаточно noindex: ссылки с закрытой страницы на другие разделы сайта пусть работают.

Какие страницы обычно закрывают:

Чего закрывать не надо: политику конфиденциальности, страницу «О компании», контакты, реквизиты. Эти страницы помогают доверию к сайту, и поисковику полезно их видеть.

Как закрыть файлы и изображения

В PDF, документ Word или картинку метатег не вставить. Для таких файлов Google рекомендует HTTP-заголовок X-Robots-Tag. Его настраивают на сервере: например, для всех PDF в разделе с внутренними документами. Это делает разработчик или хостинг, через панель или конфигурацию сервера.

Если раздел с файлами вообще не должен быть доступен посторонним (договоры, прайсы для партнёров), закрывайте его авторизацией. Запрет индексации не защищает документ от того, кто знает прямую ссылку.

Как закрыть часть текста или ссылку

Для Яндекса можно скрыть фрагмент страницы тегом <noindex>…</noindex> или комментарием <!--noindex-->…<!--/noindex-->. Яндекс предупреждает: если не закрыть тег, скрытым окажется весь контент после него, а вложенные теги не работают. Google этот тег не поддерживает.

Для ссылок — атрибуты rel="nofollow", rel="ugc" (ссылки из комментариев и отзывов) и rel="sponsored" (рекламные). Это подсказки: робот может не учитывать такую ссылку, но не обязан не находить страницу, на которую она ведёт.

Как проверить, что запрет работает

Как быстро убрать страницу, которая уже в поиске

Noindex работает после того, как робот повторно зайдёт на страницу. Google пишет, что это может занять месяцы, и советует запросить повторное сканирование через проверку URL. Для срочных случаев:

Риск. Закрытие разделов, склейка и удаление страниц — решения по данным. Прежде чем закрыть раздел «как лишний», посмотрите в Вебмастере и Search Console, не приносит ли он показы и клики. На аудитах встречаю закрытые от индексации блоги, которые были главным источником трафика. Если нужна такая проверка — это часть SEO-аудита.

Не закрыли ли вы лишнего?

Пришлите сайт — проверю robots.txt, noindex и заголовки и скажу, что мешает индексации или, наоборот, светится в поиске зря

Получить разборили оставьте заявку на бесплатный разбор
Артём Аринкин
Артём Аринкин
Основатель SEO Control System

Строю бизнесу управляемый канал клиентов из поиска: спрос → выдача → структура → упаковка → заявки. Кейсы в цифрах.

Источники

  1. Как запретить индексирование сайта или страниц — справка Яндекс Вебмастера
  2. Block Search indexing with noindex — документация Google о noindex и X-Robots-Tag
  3. Отчёт об индексировании страниц — статусы Search Console

Частые вопросы

Как закрыть сайт от индексации в WordPress?

В настройках чтения есть галочка «Попросить поисковые системы не индексировать сайт» — она добавляет noindex на страницы. Для тестовой копии надёжнее закрыть сайт паролем на уровне хостинга. После запуска галочку обязательно снять.

Что надёжнее: robots.txt или noindex?

Для исключения страницы из поиска — noindex: он прямо запрещает показ. Robots.txt управляет обходом, и закрытая в нём страница может попасть в выдачу по внешним ссылкам. Для полной закрытости — пароль.

Сколько времени страница уходит из индекса после noindex?

Зависит от того, как часто робот посещает страницу: от нескольких дней до нескольких месяцев. Ускорить можно отправкой на переобход в Вебмастере и запросом сканирования в Search Console.

Как закрыть сайт от нейросетей, но оставить в поиске?

В Яндексе — Disallow для робота YandexAdditional в robots.txt, изменения учитываются за 2–14 дней. В Google токен Google-Extended управляет использованием контента для обучения моделей, но не показом в обзорах от ИИ в поиске.

Нужно ли закрывать страницы пагинации?

Обычно нет. Страницы пагинации помогают роботу находить товары и статьи глубже в каталоге. Закрывают их только при конкретной проблеме, подтверждённой данными.