Сколько страниц сайта в индексе и как увеличить индексацию

Индексация — фундамент, на котором стоит всё остальное: неиндексированная страница не ранжируется, не приводит трафик и не цитируется нейросетями, каким бы хорошим ни был текст. При этом «проблемы индексации» — не одна проблема, а воронка из четырёх шагов, на каждом из которых страницы теряются. Разбор воронки и даёт план лечения.

Короткий ответ: сначала узнайте точные цифры (Вебмастер и Search Console, не операторы), найдите шаг воронки, где теряется больше всего, и лечите именно его. Универсальные «средства от плохой индексации» не работают, потому что причин — четыре разные.

Воронка индексации: четыре шага

Шаг	Что происходит	Где смотреть потери	Типовые причины потерь
1. Увидел	Робот узнал об URL	—	Нет sitemap, нет ссылок, домен новый
2. Обошёл	Робот скачал страницу	Статистика обхода	Скорость, 5xx, Disallow, WAF
3. Понял	Робот разобрал контент	«Исключённые» в панелях	noindex, canonical, дубли, JS-only контент
4. Взял	Страница в индексе	«Страницы в поиске»	Качество, дубли, слабые сигналы

Практика: у большинства сайтов с жалобами «страниц мало в индексе» потери сосредоточены на шаге 4 — страницы обошлись, но признаны недостаточно ценными. Это лечится не «пинга́нием» роботов, а усилением сигналов: внутренние ссылки, уникальность, скорость. Но проверять надо с шага 1 — вдруг там проще.

Как узнать точные цифры

Яндекс: Вебмастер → «Индексирование → Страницы в поиске». Главный график — «в поиске» против «исключено», с разбивкой исключённых по причинам. Там же «Статистика обхода»: сколько раз в день робот заходил и какие коды получал.

Google: Search Console → «Индексирование → Страницы». Показывает «Проиндексировано» против «Не проиндексировано» с причинами: «Дубликат без канонического URL», «Обнаружена — не проиндексирована», «Страница удалена из индекса» и другие.

Операторы url: и site: годятся только для быстрой проверки «есть ли хоть что-то» — точную картину и причины даёт только панель. Если вы ещё не подключили панели — начните с пошаговой инструкции по их добавлению, без них разговор об индексации ведётся вслепую.

Расшифровка причин исключения: что делать по каждой

Причина в панели	Что значит	Лечение
«Документ является неканоническим»	Есть canonical на другой адрес	Проверить: если страница должна ранжироваться — исправить canonical на себя
«Обнаружена — не проиндексирована»	Робот знает URL, но не дошёл/не счёл нужным	Внутренние ссылки на страницу, скорость, свежий sitemap, время
«Просканирована — не проиндексирована»	Дошли, но контент сочли слабым или дублем	Уникальный контент, объём, удаление дублей
«Дубликат без канонического URL»	Одинаковый контент на разных адресах	Проставить canonical или 301
«Страница с редиректом»	URL отдаёт 301/302	Ожидаемо для старых адресов; проверить, что новые в sitemap
«Доступ запрещён»	robots.txt блокирует	Убрать Disallow для содержательных разделов
«Ошибка сервера»	5xx при обходе	Чинить стабильность и кэш; смотреть статистику обхода
«noindex»	Мета-тег запрещает	Снять, если страница должна ранжироваться

Порог тревоги: если «не проиндексировано» больше трети от общего числа содержательных страниц — разбирайте причины построчно, это не норма. Если 60–70% страниц в индексе и остальное — служебка и дубли, вы в здоровом большинстве.

Что реально увеличивает индексацию: по силе эффекта

1. Внутренние ссылки — главный рычаг

Страница, на которую ведут три внутренних ссылки с разумным анкором, индексируется быстрее и охотнее, чем «сирота» из sitemap. Практика: новая статья со ссылками из двух-трёх живых материалов попадает в индекс за 1–3 дня; такая же без ссылок — неделями. Отсюда привычка: публикуя страницу, добавьте ссылки на неё из двух существующих по теме, а из неё — на услугу или категорию.

2. Скорость и стабильность ответа

Робот распределяет бюджет обхода по сайтам: медленный сервер (TTFB за 2 секунды, волны 5xx) сокращает частоту заходов. Включение серверного кэша HTML — самая частая «волшебная» правка: обход учащается на 30–60% просто потому, что каждая загрузка стала дешевле. Замер и лечение — в разборе скорости сайта.

3. Свежий и честный sitemap

Sitemap с мёртвыми датами lastmod (все страницы «обновлены» в день генерации) перестаёт помогать: робот перестаёт доверять датам и обходит карту лениво. Обновляйте lastmod только при реальных правках, держите в карте только канонические 200-страницы. Робот узнаёт о правке — идёт проверять.

4. Кнопки ускорения — с правильными ожиданиями

«Переобход страниц» в Вебмастере и «Запросить индексирование» в GSC ставят URL в приоритетную очередь. Они ускоряют переоценку страницы после правок, но не «продавливают» индексацию слабого контента. Правильное использование: содержательная правка → кнопка → неделя ожидания. Неправильное: десять нажатий на нетронутую страницу.

5. Качество: то, что делает шаг 4 зелёным

Роботы массово обходят, но не берут в индекс сайты-«полотенца»: тонкие шаблонные страницы, теги без контента, фильтры без спроса. Удаление или улучшение слабых страниц поднимает не только их, но и весь сайт: бюджет и «доверие» перетекают к сильным. Как отличить мусор от ценного — мы разбирали на примере магазинов, где из 14 тысяч URL индекс требовал трёх с половиной.

Диагностика за один вечер: порядок действий

1. Выпишите из обеих панелей: всего URL / в индексе / исключено (по топ-3 причинам).

2. Найдите шаг воронки с максимальными потерями.

3. Примените соответствующий блок из этой статьи (сигналы → скорость → sitemap → чистка).

4. Через 2 недели — контрольный замер тех же цифр. Индексация — процесс с инерцией, judged по динамике, а не по дню.

Частые вопросы

Сколько страниц должно быть в индексе? Больше, чем ноль, и меньше, чем «всё подряд»: 70–90% содержательных страниц — здоровый коридор. Служебка, дубли параметров и пустые теги в индексе — минус, а не плюс.

Новые страницы индексируются за сколько? Со ссылками и живым sitemap — 1–3 дня у Яндекса, до недели у Google. Без сигналов — непредсказуемо. Если новые статьи «застревают» на недели — это про внутренние ссылки и скорость, а не про «Яндекс тормозит».

Помогает ли добавление в «Яндекс.Вебмастер» индексации? Сам факт — нет. Панель даёт инструменты (переобход, диагностика, регион), эффект — от их правильного применения.

ИИ-краулеры индексируют то же, что поиск? У них свои обходчики и графики, но требования совпадают: доступ по robots, серверный HTML, скорость. Сайт, открытый для поиска, почти всегда открыт и для моделей — если не закрыт отдельно, как мы разбирали в статье об ИИ-краулерах.

Индексация — скучная тема, пока не посчитаешь: каждая невзятая в индекс страница — это контент, оплаченный деньгами и временем, работающий на ноль. Один вечер с воронкой из этой статьи возвращает в работу активы, о существовании которых вы и не подозревали.

Мини-кейс: +900 страниц без единой новой статьи

Сайт услуг с блогом: 340 страниц, в индексе — 180. Аудит воронки показал: «Обнаружено, не проиндексировано» — 120 страниц, и все они — статьи из блога без единой внутренней ссылки (публиковались «в никуда»: только из ленты блога). Плюс 40 страниц с признаком «Просканирована — не проиндексирована» — тонкие записи 2019–2021 годов.

План вечер: каждая статья получила ссылки из 2–3 смежных материалов (по смыслу, с живыми анкорами); 15 «тонких» страниц дописаны до полного ответа (по 300–500 слов фактов и таблиц); 25 действительно пустых объединены в тематические 301-редиректом. Sitemap — без мёртвых дат.

Результат по неделям: +90 страниц в индексе через месяц, +140 через два. Трафик блога вырос на 40% к третьему месяцу — без единой новой статьи. Все три рычага из этой статьи отработали: ссылки (главный), качество (дописывание), чистка (редиректы).

Рычаг	Объём работы	Эффект
Внутренние ссылки на 120 статей	Вечер	Основной вклад в индексацию
Дописывание 15 тонких страниц	2 дня	Убрали «просканирована — не взята»
301 для 25 пустых	1 час	Концентрация сигналов

Связка с остальным контуром

Индексация — вход в воронку, но не вся воронка: после «взяли в индекс» страницы должны отбираться в выдачу (релевантность, сниппет) и цитироваться моделями (структура ответа). Поэтому после вечер индексации логичные шаги: переписать сниппеты страниц с показами (title/description по нормам), проверить, открыт ли сайт ИИ-краулерам. Все три контура питаются одними данными — панелями, поэтому их еженедельный просмотр остаётся главной привычкой.

Частые вопросы и предельные случаи

Сайт из 30 страниц — всё это надо? В мини-масштабе воронка та же, а работа занимает вечер: sitemap, внутренние ссылки, переобход. Большие статьи про «бюджет обхода» пишутся для тысяч страниц; для тридцати страниц важнее одно: нет ли запрета и есть ли ссылки на каждую.

Контент на JS-фреймворке — индексируемся плохо. Классика: робот видит каркас, контент рендерится скриптом. Лечение — SSR/пререндер содержательных страниц; проверка «Ctrl+U показывает текст?» — ваш индикатор. Это же требование ИИ-краулеров — двойная причина чинить.

Страницы в индексе, но показов ноль. Это уже не индексация, а релевантность и спрос: страница взята, но не отвечает на реальные запросы или запрос мёртв. Путь: семантика по странице (Wordstat), переупаковка под интент, сниппет по нормам title/description.

Как часто проверять индексацию? Еженедельно — графики обеих панелей (две минуты); ежемесячно — причины исключений; после релизов — немедленно. Автоматизировать рутину можно аудитом: он проверяет доступ, canonical, noindex-утечки по живому HTML за минуту.

Помогает ли «пинг» сервисов переиндексации? Публичные «пингаторы» — бесполезная трата; официальные механизмы — кнопки в панелях — работают в рамках очередей. Никаких третьих способов ускорить индекс не существует, как бы ни обещали услуги «мгновенной индексации».

Финальная мысль: индексация — самый честный раздел SEO. Здесь нет алгоритмических загадок: есть четыре шага воронки, инструменты измерения в обеих панелях и конкретные рычаги на каждом шаге. Сайты, которые «не индексируются», почти всегда просто не проверены по этому списку — проверьте свой за вечер и верните в работу страницы, которые уже оплачены.

Глоссарий и чек-лист вечера индексации

Индекс — база страниц поисковика, из которой собирается выдача. Краулинговый бюджет — лимит обхода сайта роботом за период. «Обнаружено, не проиндексировано» — робот знает URL, но не взял страницу. Canonical — указание главного адреса среди похожих страниц. Мягкая 404 — страница отвечает 200, но контента нет. Внутренняя ссылка — ссылка со страницы вашего сайта на вашу страницу.

Чек-лист вечера: выгрузить цифры из обеих панелей (всего/в индексе/исключено), найти шаг воронки с максимальными потерями, проставить внутренние ссылки на страницы-сироты, вычистить параметры из sitemap, проверить TTFB и кэш, отправить переобход ключевых URL, поставить контрольный замер через две недели. Семь пунктов — и вы сделали для индексации больше, чем большинство сайтов делает за год.

И последний штрих к воронке: индексация — единственный раздел SEO, где успех измеряется не позициями и не трафиком, а простым счётом страниц. Именно поэтому она идеальная первая цель для любого сайта: цифры объективны, инструменты бесплатны, рычаги понятны, эффект — фундамент для всего остального. Проведите вечер по чек-листу, зафиксируйте стартовые цифры в обеих панелях и возвращайтесь к ним раз в две недели: растущий счётчик страниц в индексе — самый ранний и самый честный сигнал того, что у вашего сайта всё идёт как надо.