Как проверить, закрыт ли сайт от индексации: 5 способов за 10 минут

Закрытый от индексации сайт выглядит для владельца загадкой: контент хороший, дизайн есть, а в поиске — ни одной страницы. Причина почти всегда техническая и лежит в одном из четырёх мест: мета-тег robots, HTTP-заголовок X-Robots-Tag, файл robots.txt или галочка «закрыть от индексации» в настройках CMS, о которой все забыли после запуска. Хорошая новость: диагностика занимает десять минут и не требует специалистов.

Короткий ответ: начните с операторов поиска (site: и url:), затем проверьте мета-тег на живой странице, заголовок ответа и robots.txt. Если что-то из этого запрещает — снимайте запрет и отправляйте страницы на переобход. Ниже — каждый способ с порядком действий и таблицей «что нашли — что делать».

Способ 1. Операторы поиска: есть ли сайт в выдаче

Самый быстрый способ понять, видит ли поисковик ваш сайт вообще.

Яндекс: введите в поисковую строку url: ваш-домен.ru | host: ваш-домен.ru — покажет, сколько страниц домена в индексе. Пустой результат означает: страниц нет, склейка зеркал не состоялась или сайт моложе пары недель.

Google: site:ваш-домен.ru — грубая оценка числа страниц в индексе. Точное число смотрите в Search Console («Индексирование → Страницы»), но оператор мгновенно отвечает на вопрос «есть ли хоть что-то».

Тонкость: операторы показывают текущую выдачу. Сайт мог быть закрыт неделю назад, и страницы ещё «докатываются» из индекса. Поэтому следующий шаг — проверка источника запрета.

Способ 2. Мета-тег robots на странице

Откройте любую ключевую страницу, нажмите Ctrl+U (исходный код) и поищите name="robots".

Что видите	Что это значит	Что делать
Нет тега robots	Индексация разрешена по умолчанию	Всё в порядке, проверяйте дальше
content="index, follow"	Разрешена явно	Всё в порядке
content="noindex, follow"	Страница вне индекса, ссылки сканируются	Снять noindex, если страница должна ранжироваться
content="noindex, nofollow"	Полный запрет	Снять noindex
Тега нет в HTML, но страница «не в поиске»	Запрет не в мета-теге	Проверить X-Robots-Tag и robots.txt

Частая ситуация после переезда: тестовая копия сайта с noindex залили на продакшен, и весь сайт невидим. Проверяйте три-пять разных типов страниц: главную, категорию, карточку, статью — тег мог расползтись по шаблонам неравномерно.

Способ 3. HTTP-заголовок X-Robots-Tag

Запрет может приходить не в HTML, а в заголовке ответа сервера — его в исходном коде страницы не видно. Проверка в терминале:

```

curl -I https://ваш-сайт.ru/ | grep -i robots

```

Если в ответе есть строка X-Robots-Tag: noindex — сервер отдаёт запрет на уровне заголовков. Это часто настраивают на уровне nginx/Apache целиком для раздела (например, на всё «не-продовое» окружение) и забывают снять. Такой запрет имеет приоритет над мета-тегом: даже если в HTML стоит index, заголовок сильнее.

Способ 4. robots.txt: Disallow и его коварство

Откройте ваш-сайт/robots.txt и проверьте три вещи.

1. Глобальный запрет: User-agent: * с Disallow: / — сайт закрыт целиком. Классика тестовых окружений, случайно уехавших в прод.

2. Запреты по разделам: Disallow: /blog, Disallow: /catalog — содержательные разделы закрыты. Иногда наследуется от старого разработчика.

3. Блоки ИИ-ботов: отдельные правила для GPTBot, ClaudeBot, PerplexityBot — на классическую индексацию не влияют, но отрезают вас от ответов нейросетей (разобрано в статье про ИИ-краулеров).

Важное различие, которое путают даже практики: Disallow в robots.txt не удаляет страницу из индекса — он запрещает обход. Страница, на которую ведут внешние ссылки, может показываться в выдаче без описания («сведения об этом адресе недоступны»). Полное исключение даёт только noindex, который робот должен прочитать — то есть страница не должна быть закрыта Disallow одновременно. Правило здорового сайта: robots.txt закрывает служебку (корзину, поиск, админку), а noindex применяется точечно.

Способ 5. Логи и панели: заходит ли робот вообще

Если запретов не нашли, а в выдаче пусто — проверьте, приходит ли робот.

• Яндекс.Вебмастер → «Статистика обхода»: сколько запросов в день делает робот, какие коды ответов. Ноль запросов — сайт не добавлен в Вебмастер, зеркало не склеено или домен слишком свежий.
• Search Console → «Настройки → Статистика сканирования»: то же для Google.
• Логи хостинга: поищите User-Agent «YandexBot» и «Googlebot» в access-логах. Робот ходит, а страниц в выдаче нет — вопрос к качеству контента и скорости, не к доступу.

Заодно сверьте «Страницы в поиске» (Вебмастер) и «Индексирование страниц» (GSC): там видно, сколько страниц в индексе и с какими причинами исключены остальные. Эти два отчёта — карта всей индексации, подробно о них мы писали в разборах Вебмастера и Search Console.

Диагностическая таблица: что нашли — что делать

Симптом	Вероятное место запрета	Действие
site: пустой, мета-тега нет, X-Robots нет	Сайт не добавлен в панели / домен слишком свежий / зеркало не склеено	Добавить в Вебмастер и GSC, подтвердить, отправить sitemap
noindex в мета-теге на всех страницах	Тестовый флаг в шаблоне	Убрать из шаблона, переобход
X-Robots-Tag: noindex	Настройка веб-сервера	Найти правило в конфиге nginx/Apache, снять
Disallow: / в robots.txt	Тестовый окружение в проде	Убрать строку, переобход
Робот не заходит (0 запросов)	Не добавлен в панели / домен новый	Панели + ожидание 1–3 недели
Страницы «обнаружены, не проиндексированы»	Слабые сигналы или бюджет обхода	Внутренние ссылки, скорость, время

Частые вопросы

Сколько ждать после снятия запрета? Переобход ключевых страниц — от пары дней до двух недель (ускоряется кнопкой «Переобход» в Вебмастере и «Запросить индексирование» в GSC). Полное возвращение в выдачу — до месяца.

Кто сильнее: robots.txt или noindex? Они о разном. Disallow запрещает обход (робот не читает страницу), noindex запрещает показ в выдаче (робот должен прочитать страницу, чтобы увидеть запрет). Комбинация «Disallow + noindex» — ошибка: робот не увидит noindex.

Проверять ли поддомены и www? Да: тестовые поддомены (dev., staging.) и «лишнее» зеркало часто открыты роботам и плодят дубли. Закройте их в robots.txt и проверьте склейку основного зеркала.

Как проверить весь сайт сразу, а не страницу? Аудит INSONT проверяет robots.txt, мета-теги и заголовки по живому HTML с приоритетами и списком URL — быстрее, чем вручную десятки страниц. Плюс один взгляд на отчёты индексации двух панелей.

Самая частая история из практики: владелец полгода борется за «позиции», а сайт всё это время отдавал noindex из шаблона тестовой версии. Десять минут проверок из этой статьи стоят месяцев контента, закупаемого впустую. Проверьте доступ — потом боритесь за топ.

Мини-кейс: интернет-магазин, который «не существовал» полгода

Мебельный магазин обратился с жалобой «восемь месяцев сайта, продаж с поиска ноль». Бюджет на контент уже потрачен: 60 карточек с описаниями, блог. Проверка по чек-листу выше заняла двенадцать минут и нашла причину на втором шаге: в шаблоне карточки стоял мета-тег robots с noindex — наследие «чернового» запуска, когда разработчик закрыл сайт до наполнения и забыл снять флаг после открытия.

Правка — одна строка в шаблоне. Дальше: переобход 20 ключевых страниц в Вебмастере, отправка sitemap. Через девять дней — первые показы, через шесть недель — 1 400 показов в месяц, через четыре месяца — первые продажи с поиска. Ни одной новой статьи за весь период: контент уже был, он был просто заперт.

Этап	Срок	Результат
Диагностика (5 способов)	12 минут	noindex в шаблоне карточек
Правка + переобход	1 день	Заявки роботу на 20 страниц
Первые показы	9 дней	Страницы начали возвращаться в индекс
Восстановление трафика	6 недель	1 400 показов/мес
Первые продажи	4 месяца	Канал запущен без новых вложений

Связь с остальными проверками сайта

Проверка индексации — первый пункт большого техаудита: пока доступ не подтверждён, остальные проверки бессмысленны (мы разбирали полный список из 30 проверок отдельно). После того как доступ подтверждён, логичные следующие шаги: скорость ответа (медленный сайт режет обход), чистота canonical и дублей (иначе индекс засоряется), свежесть sitemap. Всё это — те же десять минут руками или минута автоматическим аудитом.

Если же проверки показывают «всё открыто, робот ходит, а показов нет» — это уже не техника, а контент и конкуренция: переходите к семантике и переупаковке страниц под запросы. Диагностика из этой статьи — водораздел: она говорит, в какой из двух миров вы попали.

Частые вопросы и сопутствующие проверки

Только Я закрыт или страница тоже? Проверяйте уровни: домен (robots), раздел (Disallow + мета в шаблоне), страница (мета-тег конкретной страницы). Бывает точечный noindex на самой денежной странице — сайт «работает», а главная услуга невидима годами.

Как закрыть раздел навсегда и правильно? Комбинация: Disallow в robots для служебки (корзина, поиск, админка) + noindex на страницах, которые должны обходиться, но не показываться (например, технические дубли). Полный запрет от индексации содержательных страниц — только noindex без Disallow, чтобы робот мог прочитать запрет.

Внутренний поиск сайта — закрывать? Да, обязательно: страницы результатов поиска — классический мусор индекса. Disallow: /*?s= и аналоги — в примерах из статьи о robots.txt.

Проверять ли поддомены тестовых окружений? Регулярно: dev./staging. иногда индексируются и плодят дубли основного сайта. Правильная жизнь тестового контура — закрытые роботы + basic-auth; проверка — тем же оператором site: по поддомену.

Проверки заняли 10 минут — всё открыто, но трафика нет. Поздравляю: у вас нормальная задача продвижения, а не техническая авария. Дальше по карте: семантика и переупаковка страниц под запросы, сниппеты, ИИ-доступ. Диагностика из этой статьи — водораздел между «чинить доступ» и «расти в выдаче».

И последняя привычка, которую стоит завести: проверка индексации после каждого значимого изменения сайта — переезд, редизайн, смена CMS, обновление шаблона. Пять минут по чек-листу (оператор, мета-тег, заголовок, robots) защищают от сценария «полгода невидимости», который стоит дороже самого переезда.

Глоссарий и шпаргалка десяти минут

noindex — запрет показа страницы в выдаче (в мета-теге или заголовке). Disallow — запрет обхода (в robots.txt). X-Robots-Tag — тот же noindex, но в HTTP-заголовке сервера. Оператор site: — быстрый поиск страниц домена в выдаче. Статистика обхода — отчёт панели о визитах робота. Зеркало — дубль домена (www, поддомен), склеенный с основным.

Шпаргалка десяти минут: оператор site: → есть ли что-то; Ctrl+U → мета-тег robots на пяти страницах; curl -I → X-Robots-Tag; /robots.txt → Disallow: / и разделы; панели → статистика обхода. Пять шагов, каждый с ясным вердиктом, — и вопрос «почему нас нет в поиске» получает конкретный ответ вместо месяцев гаданий. Если все пять чисты — переходите к росту: семантика, сниппеты, ИИ-доступ.

Добавим короткую памятку на стену для будущих релизов: перед открытием нового сайта — снять noindex из шаблона и Disallow из robots; после переезда — проверить оба файла глазами робота и цепочку редиректов; после обновления CMS — мета-тег на пяти типах страниц; после работы подрядчика — всё то же самое. Четыре пункта по две минуты — и сценарий «полгода невидимости» не повторится никогда, потому что он всегда начинается не со взлома и не с санкций, а с невинной галочки, про которую забыли в спешке запуска.