Clean-param: что это и как написать для Яндекса с примерами

Clean-param — директива robots.txt, которая говорит Яндексу: «эти параметры в адресе страницы не меняют её содержимое — считай такие адреса одной страницей». Одна строка решает проблему, которая без неё превращается в тысячи мусорных URL: каждый клик по рекламной ссылке с UTM-меткой, каждая комбинация отслеживания создаёт для робота «новый» адрес с тем же контентом.

Короткий ответ: добавьте в robots.txt строку Clean-param: с перечнем служебных параметров через амперсанд — UTM-меток, клик-идентификаторов рекламных систем и внутренних меток. Яндекс будет склеивать такие адреса автоматически, а показы и позиции собираться на чистом URL. Для Google эта директива не работает — там дубли закрывает canonical.

Зачем это нужно: что происходит без Clean-param

Возьмите страницу категории /catalog/sofa/ и посмотрите, сколько «версий» неё рождается в обычной жизни:

```

/catalog/sofa/?utm_source=telegram

/catalog/sofa/?utm_source=vk&utm_campaign=sale

/catalog/sofa/?gclid=EAIaIQobChMI...

/catalog/sofa/?yclid=1789456123456

/catalog/sofa/?from=instagram&fbclid=IwAR2...

```

Пять адресов — одна страница. Без Clean-param Яндекс видит пять документов: краулинговый бюджет тратится на обход одинакового, показы размазываются между дублями, в «Страницах в поиске» растёт мусор, а в худшем случае робот сам выбирает «главный» — и выбирает не тот, что вы продвигаете. С Clean-param все пять адресов схлопываются в /catalog/sofa/ ещё на уровне понимания робота.

Без Clean-param	С Clean-param
Тысячи URL-дублей в индексе	Один чистый URL на контент
Бюджет обхода тратится на повторы	Робот обходит новое, а не то же самое
Показы размазаны по дублям	Показы и позиции собираются на каноничном адресе
В Вебмастере — мусор в исключённых	Чистая картина индексации

Синтаксис: две формы

Простая форма — перечислить параметры через амперсанд:

```

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

```

Полная форма — с указанием адреса, где параметры действуют (после пробела):

```

Clean-param: session&id /forum/showthread.php

Clean-param: ref site.ru/catalog/*

```

Вторая форма нужна, когда параметр значим на одних страницах и мусорный на других: например, id в адресе темы форума — это контент, а id в адресе статьи — метка перехода. Для большинства сайтов достаточно простой формы с общим списком.

Что можно смело вносить в список: UTM-метки (utm_source, utm_medium, utm_campaign, utm_content, utm_term), рекламные клик-идентификаторы (gclid, yclid, ysrkey, gbraid, wbraid, fbclid), метки почтовых рассылок и партнёрок (_openstat, from, ref), внутренние метки (etext, utm_referrer). Что нельзя: параметры, которые меняют содержимое — page, sort, filter, id товара в адресе страницы.

Готовые строки: скопируйте и подставьте домен

Универсальный базовый набор (подходит почти любому сайту):

```

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&gclid&gbraid&wbraid&fbclid&_openstat&from&ref&etext

```

Для интернет-магазина — плюс метки рассылок и внутренние маркетинговые хвосты:

```

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&gclid&gbraid&wbraid&fbclid&_openstat&from&ref&etext&utm_referrer&utm_social&utm_placement&matchtype&device&keyword&region_name&text

```

Хвостовые параметры (matchtype, keyword и другие) приходят из ссылок контекстной рекламы; если в них сомневаетесь — начните с базового набора и добавляйте по мере обнаружения в Вебмастере («Страницы в поиске» покажет дубли с параметрами).

Для лендингов с формами — часто встречаются технические хвосты от CRM и виджетов:

```

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&gclid&fbclid&_openstat&from&ref&etext&form&success

```

Куда именно ставить строку: внутрь блока User-agent: Yandex, если он у вас есть, или в общий блок User-agent: * — Google директиву молча проигнорирует, это нормально. После правки проверьте файл в Вебмастере («Анализ robots.txt») — инструмент покажет, как директиву понял робот.

Как Clean-param работает вместе с остальной защитой от дублей

Clean-param — не замена, а один из трёх слоёв:

Слой	Инструмент	Кого закрывает
Метки переходов (UTM, gclid...)	Clean-param	Яндекс
Параметры сортировки/фильтров	Disallow в robots.txt	Оба
Остальные дубли (слэши, регистр, зеркала)	Canonical + 301	Google, частично Яндекс

Подробная логика того, какие фильтры открывать, а какие закрывать — в статье про SEO интернет-магазина; синтаксис Disallow и приоритеты правил — в разборе robots.txt с примерами. Ключевая мысль: UTM-метки — работа для Clean-param, потому что адрес с меткой должен открываться (человек же кликнул), но не должен попадать в индекс. Сортировки — работа для Disallow, потому что обходить их вообще не нужно.

Как проверить, что Clean-param работает

1. Вебмастер → Индексирование → Страницы в поиске: доля страниц-дублей с параметрами должна снижаться в течение 2–4 недель после добавления директивы.

2. Вебмастер → Анализ robots.txt: вбейте адрес с UTM — робот должен ответить «страница является дублем, главная — чистый URL» или просто отдать чистый адрес.

3. Поисковые запросы: показы не должны «размазываться» между вариантами адреса одной страницы.

4. Поиск по сайту: url: сайт/страница?utm_source=x через пару недель не должен показывать отдельный документ.

Частые вопросы

Clean-param замедляет переобход? Нет, наоборот: робот перестаёт тратить бюджет на дубли и чаще ходит по полезным адресам.

Нужен ли Clean-param, если все внутренние ссылки чистые? Да: метки приходят извне — из рекламы, рассылок, соцсетей, мессенджеров. Вы не контролируете, с каким хвостом человек зайдёт.

Google поймёт Clean-param? Нет, директива чисто яндексовская. Для Google canonical на чистом URL обязателен — это основной механизм склейки у него.

Что если параметр нужен для содержимого, но иногда мусорный? Используйте полную форму с указанием раздела: значимый параметр исключите из списка, мусорный — внесите с ограничением по адресу. Раз в квартал сверяйте список с тем, что реально появляется в Вебмастере.

Яндекс сам склеивает UTM без директивы. Иногда — но не гарантированно и не сразу. Clean-param — это явная инструкция вместо надежды на алгоритм; ровно та ситуация, где документированное поведение лучше «обычно работает».

Clean-param — самая дешёвая правка в яндексовском SEO: одна строка, ноль рисков, прямой эффект на чистоту индекса и сбор показов. Если у вас рекламный трафик и её нет — вы прямо сейчас теряете часть показов на дублях, которые склеиваются одной строкой.

Мини-кейс: магазин, у которого «украли» половину показов

Магазин электроники с активным контекстом и посевами в соцсетях: каждая рекламная ссылка несла метки, и в Вебмастере висело 4 300 «страниц» с параметрами — при 1 800 настоящих. Симптом классический: показы по категории скачут, позиции нестабильны, часть трафика «уходит в никуда».

Правка — одна строка Clean-param с базовым набором параметров. Динамика: через две недели дублей в «Страницах в поиске» стало вдвое меньше; через месяц показы по главным категориям выросли на 18% без единой другой правки — показы перестали размазываться между версиями адреса. Бюджет обхода тоже перераспределился: робот чаще стал обновлять карточки вместо повторного обхода одних и тех же меток.

Как собрать свой список параметров за 15 минут

Возьмите из Вебмастера выгрузку страниц с параметрами (или поиском по выдаче site:ваш-домен inurl:?) и разложите параметры на три корзины:

1. Мусор (в Clean-param): UTM, gclid/yclid, fbclid, from, ref, etext, _openstat, служебные хвосты виджетов (success, form, sent).

2. Значимые (не трогать): page, id, sort, filter, цвет/размер — всё, что меняет содержимое.

3. Сомнительные (проверить руками): откройте пару адресов с параметром и с ним же без — отличается ли содержимое? Не отличается — в первую корзину.

Проверку корзины 3 не пропускайте: параметр page=2 в списке Clean-param склеит вторую страницу каталога с первой — и вы потеряете товары. Пятнадцать минут сверки стоят дешевле недели восстановления индекса.

После добавления строки — проверка в «Анализе robots.txt» Вебмастера (адрес с UTM должен склеиваться) и контроль через 2–3 недели. Дальше список живёт: новые рекламные каналы приносят новые метки — пополняйте список раз в квартал.

Частые вопросы и смежные ситуации

Clean-param и sitemap: нужно ли вычищать параметры из карты? Да: Clean-param — инструкция роботу «считать дублем», а sitemap — ваш список «вот что важно». Дубли в карте размывают сигнал: карта должна содержать только чистые канонические адреса. Тогда связка «чистая карта + Clean-param» даёт роботу непротиворечивую картину.

Что делать с параметрами сортировки — это же не метки? Верно, это другой класс: сортировки и фильтры не «мусорные метки», а альтернативные отображения. Их судьба решается не Clean-param, а Disallow (закрыть обход) или отдельными страницами (если на комбинацию есть спрос). Логику разнесения мы подробно разбирали в материале про SEO магазинов.

Яндекс склеил не ту страницу главной. Бывает при полной симметрии дублей. Помогают: consistent внутренние ссылки (всегда ссылайтесь на чистый адрес, без хвостов), свежий sitemap, и время. Clean-param не выбирает «главную» — он убирает параметры; выбор каноничного адреса делает 301/canonical/внутренние ссылки.

Проверять ли Clean-param после смены шаблона/движка? Обязательно: обновления любят перезаписывать robots.txt целиком. Внесите «прочитать robots глазами робота» в послерелизный чек-лист рядом с проверкой главной и canonical — это спасало индекс не одному сайту.

А если у нас вообще нет рекламных меток? Посевы, почта, мессенджеры, партнёры — метки приходят отовсюду, даже если контекст не запускался. Плюс внутренние метки (ссылки из рассылок по базе, UTM в письмах). Базовый набор поставьте в любом случае — цена вопроса одна строка, а страховка распространяется на будущее.

Резюмируя: Clean-param — это про гигиену показов. Всё, что вы зарабатываете контентом и ссылками, собирается в показах; дубли с параметрами размазывают этот заработок. Одна строка в robots.txt собирает его обратно к вашему чистому URL — самая высокая ставка на вложенный час во всём техническом яндексовском SEO.

Глоссарий и шпаргалка для коллег

UTM-метка — параметр вида utm_source, которым каналы помечают свои ссылки. Клик-идентификатор — параметр рекламной системы (gclid у Google, yclid у Яндекса), по которому она считает переходы. Канонический адрес — главный URL страницы из набора дублей. Краулинговый бюджет — лимит запросов робота к сайту за период. Склейка — объединение сигналов дублей на одном адресе.

Шпаргалка внедрения на один абзац: добавить в robots.txt базовую строку Clean-param (UTM + клик-идентификаторы + from/ref/etext), проверить в анализе robots.txt Вебмастера, убедиться в canonical на чистые URL для Google, убрать параметры из sitemap, контроль через 2–3 недели по «Страницам в поиске». Пять пунктов, пятнадцать минут, минус тысячи дублей — лучшая ставка на час в техническом SEO Яндекса.

Напоследок — как понять, что Clean-param уже работает: в «Страницах в поиске» Вебмастера падает доля исключённых с параметрами, в поисковых запросах показы концентрируются на чистых адресах, а проверка адреса с UTM через анализ robots отвечает «страница является дублем». Увидели все три признака — строка отработала, дубли склеиваются, бюджет обхода сэкономлен. Дальше просто не забывайте пополнять список новыми метками при запуске новых каналов — и эта маленькая строка будет годами защищать чистоту вашего индекса без вашего участия.

Мини-FAQ по Clean-param

Clean-param чувствителен к регистру? Параметры указываются как есть; Яндекс нормализует регистр значений, но лучше писать имена параметров в нижнем регистре, как они и приходят из рекламных кабинетов.

Сколько параметров можно перечислить? Технического предела нет, но держите список живым: каждый параметр — проверенный мусор, а не «на всякий случай». Список из 12–20 имён покрывает абсолютное большинство сайтов.

Работает ли Clean-param на поддоменах? Директива действует в рамках хоста файла robots.txt; для www/без-www достаточно основного зеркала после склейки, для отдельных поддоменов — свой файл со своим списком.

Что покажет Вебмастер после внедрения? В «Страницах в поиске» уменьшится доля «дублей» с параметрами, в анализе robots адрес с меткой начнёт склеиваться с чистым — два объективных признака работающей директивы.