Бесплатно
Что видит робот. Не то, что видите вы в браузере.
Запрашиваем страницу так, как её читают Яндекс, GPTBot и GigaChat: без вашего Chrome и без выполнения скриптов. Если в ответе пусто — модели цитировать нечего, даже если макет красивый.
Без почты. Это демо-срез: robots и «пустой HTML» угадываем по адресу. Для лога на своём хостинге — аналитика роботов.
Браузер сначала выполняет JavaScript и только потом показывает страницу. Робот GigaChat или GPTBot часто читает только первый HTML. Разница важна и для Яндекса, если текст живёт только в скрипте.
В браузере
Готовая страница
Браузер запускает скрипты и рисует то, что видит человек после загрузки.
{} Сырой HTML
Первый ответ сервера
Робот читает то, что пришло до JavaScript. Если текст рисуется только в браузере — в ответе его нет.
GET https://example.ru User-Agent: GPTBot <body> <div id="root"></div> </body>
0 читаемых слов
Что смотрим в отчёте
Слова в сыром HTML
Есть ли цена, заголовок и абзац до JavaScript. Ноль слов — типичная Тильда или SPA.
Кого пускает robots
YandexBot, Googlebot, GPTBot, робот GigaChat — по отдельности. Один Disallow не равен всем.
Как собрана страница
Сервер сразу отдал текст, часть дорисовал скрипт или в ответе только пустой корневой блок.
Каких роботов отличаем
В России важны не шестнадцать американских имён. Важны те, кто реально ходит на коммерческий сайт.
YandexBot
Индекс и подсказки Алисы. Закрыли его — не будет ни поиска, ни части ответов.
Googlebot
Индекс Google. Иногда отрисовывает JS. Не образец для остальных.
GPTBot
Читает HTML для обучения и цитат. Скрипты не запускает. Часто упирается в Disallow «на всякий случай».
GigaChat
Нужен открытый текст. Карточка за логином или пустой #root — вас не из чего назвать.
Частые вопросы
- Что значит «робот видит страницу»?
- Он запросил URL и в первом HTML есть текст, который можно процитировать. Если человеку страница красивая, а в ответе сервера пустой #root — для GPTBot и GigaChat её нет.
- Яндекс же умеет JavaScript?
- Частично. Google тоже иногда отрисовывает. Не считайте, что так умеют все. Робот GigaChat и GPTBot чаще читают сырой ответ. Надёжнее отдать текст сразу.
- Как закрыть сайт от GPTBot и не закрыть Яндекс?
- В robots.txt правила пишутся на каждого робота отдельно. Disallow для GPTBot не обязан закрывать YandexBot. Проверьте синтаксис, прежде чем выкладывать.
- Сайт на Тильде / чистом React. Что делать?
- Вынести цену, заголовок и первый абзац в HTML с сервера. Потом прогнать проверку ещё раз. Если слов в первом ответе ноль — модели цитировать нечего.
- Это замена Вебмастеру?
- Нет. Вебмастер и Search Console — про индекс поиска. Здесь — про то, пустой ли HTML для нейросетей. Оба слоя нужны.
Проверка говорит, пустой ли первый ответ. Кто ходил на сайт за месяц — в аналитике роботов. Закрытый blog чинится в очереди, не «ещё одной статьёй».
Преимущества
Почему проверка роботов важнее «проверка индексации»
Страница может быть в Яндексе и закрыта для GPTBot. Или наоборот: человеку 200, роботу 403. Мы это показываем без регистрации.
Несколько роботов, а не один Googlebot
Обычные чекеры смотрят «индексируется». Модели ходят иначе и читают другой robots. Находите причину «нас нет в GigaChat», пока думаете, что дело в тексте.
Код ответа, который видит робот
Владелец открывает страницу из браузера — всё хорошо. Агент видит логин. Чините доступ, а не заказываете ещё статью.
Полный результат виден сразу
Не режем результат «после регистрации». Можно проверить боевой URL на совещании, не заводя аккаунт.
Находка стыкуется с кабинетом
Увидели закрытый раздел — в INSONT это задача недели, не скрин в чат. От бесплатной проверки к работе. Без потери смысла.