INSONT

Техника

Как открыть сайт ИИ-краулерам: robots.txt, llms.txt, схема

Елена Бондарь · 2026-07-09 · 7 мин

Самая частая причина нулевой видимости — не «плохой контент», а Disallow: / для нужного бота и контент, который живёт только в JavaScript.

Начните с robots.txt. Разрешите GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Yandex и известных ботов GigaChat. Запрет «на всякий случай» стоит доли голоса.

Добавьте llms.txt в корень: карта важных URL простым текстом. Это не стандарт поисковика, но модели и агенты его уже читают.

Проверьте, что ключевые абзацы есть в исходном HTML, а не появляются только после загрузки скриптов. Для лендингов на React страница должна отдаваться роботам уже собранной.

Разметьте Article, FAQ, Product, Organization. Схема не гарантирует цитату, но сильно повышает шанс, что модель возьмёт структурированный фрагмент.

Преимущества

Почему блог пишем как рабочую тетрадь, а не как медиа

Каждая статья должна менять, что вы сделаете на сайте на этой неделе. Иначе её нет.

  1. Пишем разбор, а не десять трендов

    Медиа плодят списки. Мы разбираем Вебмастер, карточку, срез по России. Уносите чек-лист. Не ощущение, что «надо быть в ИИ».

  2. Цифры берём со среза, а не из чужого отчёта США

    Западные графики по ChatGPT плохо описывают Яндекс и GigaChat. Решения для своего рынка. Меньше ложных приоритетов.

  3. Статья стыкуется с очередью работ

    Прочитали про закрытый блог — в кабинете это пункт, не «интересный факт». Чтение кончается правкой. Это редкость для SEO-блогов.

  4. Не продаём схему в тексте

    Многие блоги агентств подводят к пакету ссылок. Мы подводим к витрине и тарифу. Можно читать скептику. Метод не меняется в конце статьи.

Читайте дальше