Как закрыть от индексации страницы автора и архивы в WordPress без потери полезного трафика

Страницы автора, архивы по датам и некоторые служебные архивы в WordPress часто попадают в индекс без пользы для поиска. На небольших сайтах это выглядит как мусорные URL, на контентных проектах — как дубли и тонкие страницы, которые съедают краулинговый бюджет и размывают релевантность. При этом закрывать всё подряд нельзя: иногда архивы реально помогают навигации, а страницы автора дают дополнительный контекст.

Ниже — практический сценарий: как понять, что именно нужно закрыть, чем лучше управлять через SEO-плагин, а где достаточно кода в теме или мини-плагине.

Когда страницы автора и архивы действительно мешают

Проблема обычно проявляется не в одном месте, а сразу в нескольких сигналах. В Search Console появляются URL вида /author/username/, /2024/05/ или архивы тегов, которые получают показы, но почти не дают кликов. В отчёте по страницам видно много URL с одинаковыми title и description. На сайте при этом нет отдельной редакционной ценности у архивов: они просто повторяют список записей.

Диагностика перед изменениями

Сначала проверьте, что именно уже индексируется и как это выглядит для поисковика:

• поиск по сайту в Google с оператором site:example.com author и site:example.com /2024/;
• отчёт «Страницы» в Google Search Console;
• наличие одинаковых заголовков у архивов и страниц записей;
• есть ли на архиве уникальный текст, а не только список постов;
• используются ли архивы в меню, хлебных крошках или фильтрации.

Если архивы нужны только как техническая навигация, их обычно имеет смысл закрыть от индексации. Если это редакционный раздел с описанием автора, биографией и подборкой материалов, решение может быть другим.

Что лучше: плагин, код или ручная настройка

Для большинства сайтов удобнее управлять индексацией через SEO-плагин. Но если нужен точечный контроль над отдельными типами архивов, код даёт более предсказуемый результат. Ниже — короткое сравнение.

Если у вас уже стоит SEO-плагин, сначала проверьте его настройки. Если нет — проще и надёжнее добавить небольшой код в мини-плагин, чем править шаблоны напрямую.

Пошаговое решение через код

Ниже пример, который закрывает от индексации архивы авторов и архивы по датам, а также убирает их из XML-карт сайта, если ваша SEO-логика этого требует. Код лучше вынести в мини-плагин или в functions.php дочерней темы, но мини-плагин безопаснее для обновлений темы.

<?php
/**
 * Plugin Name: WP Articles SEO Archives Control
 */

add_filter( 'wp_robots', function( array $robots ) {
    if ( is_author() || is_date() ) {
        $robots['noindex']  = true;
        $robots['nofollow'] = false;
    }

    return $robots;
} );

add_filter( 'rank_math/frontend/robots', function( array $robots ) {
    if ( is_author() || is_date() ) {
        $robots['index']  = 'noindex';
        $robots['follow'] = 'follow';
    }

    return $robots;
} );

add_filter( 'wp_sitemaps_posts_query_args', function( array $args, string $post_type ) {
    return $args;
}, 10, 2 );

add_filter( 'wp_sitemaps_users_pre_url_list', function( $url_list ) {
    return array();
} );

Здесь есть важный нюанс: wp_robots — это штатный способ WordPress добавить директивы robots. А вот фильтр для sitemap пользователей нужен только если вы действительно хотите убрать авторов из карты сайта. Не стоит слепо отключать всё подряд: если авторские страницы у вас полезны, лучше оставить их в индексе и доработать шаблон.

Если нужен точечный запрет только для части архивов

Например, вы хотите закрыть архивы дат, но оставить страницы авторов. Тогда условие можно сузить:

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_date() ) {
        $robots['noindex'] = true;
    }

    return $robots;
} );

Это полезно для новостных сайтов, где архивы по месяцам не несут самостоятельной ценности, но авторы нужны для доверия и навигации.

Как сделать то же самое через SEO-плагин

Если вы используете Yoast SEO, Rank Math или похожий плагин, логика обычно сводится к настройкам архивов: отключить индексацию страниц автора, дат и тегов, если они не нужны в поиске. Важно не путать noindex и полное удаление из сайта. Страница может оставаться доступной пользователю, но не участвовать в поиске.

Для сайтов с большим количеством дублей часто полезно дополнительно проверить:

• есть ли canonical на архивных страницах;
• не создаются ли отдельные страницы пагинации с одинаковыми мета-тегами;
• не дублируются ли архивы по тегам и категориям;
• не выводит ли тема одинаковые title для всех архивов.

Если в проекте уже есть Clearfy Pro, часть таких задач можно закрыть через его настройки по удалению дублей и технической чистке сайта. Но даже в этом случае стоит проверить итоговый HTML, а не полагаться только на переключатель в админке.

Проверка результата после внедрения

После изменений не ограничивайтесь просмотром страницы в браузере. Проверьте именно то, что видит поисковый робот.

1. Откройте страницу автора или архив дат.
2. Посмотрите исходный код и найдите meta name="robots" или HTTP-эквивалент.
3. Убедитесь, что на нужных страницах стоит noindex.
4. Проверьте, что страницы не исчезли из навигации, если они нужны пользователям.
5. В Search Console отправьте URL на повторную проверку после обновления.

Если используете WP-CLI или просто хотите быстро проверить HTML, можно запросить страницу и посмотреть мета-теги вручную. Для локальной проверки достаточно открыть исходник и убедиться, что директивы не конфликтуют между темой, плагином и кэшем.

Частые ошибки и как их исправить

Ставят noindex в robots.txt

Это частая ошибка. robots.txt управляет обходом, но не гарантирует удаление URL из индекса. Для уже известных страниц это часто недостаточно. Нужен именно noindex в HTML или заголовках.

Закрывают архивы, которые дают трафик

Иногда страницы автора или рубрик приводят посетителей из поиска сами по себе. Перед закрытием посмотрите статистику по входам и запросам. Если архив собирает полезный трафик, лучше доработать его контент, а не отключать индексацию.

Не проверяют дубли title и canonical

Даже при noindex поисковик может продолжать видеть дублированные шаблоны заголовков. Если архивы остаются открытыми, canonical должен указывать на саму страницу, а title — отличаться от обычных записей.

Смешивают настройки нескольких плагинов

Когда одновременно включены SEO-плагин, кэш-плагин и ручной код, результат бывает непредсказуемым. Один модуль добавляет noindex, другой переписывает head из кэша, третий меняет canonical. После любого изменения очищайте кэш страницы и кэш плагина, если он есть.

Практические советы по безопасности и производительности

Любые правки лучше делать не в основной теме, а в дочерней теме или мини-плагине. Это снижает риск потерять изменения после обновления. Если сайт большой, не вносите сразу несколько SEO-изменений одновременно: так проще понять, что именно сломало индексацию или шаблон.

Для производительности полезно убрать из генерации лишние архивы, которые не используются. Но не отключайте механизмы WordPress без проверки: иногда архивы участвуют в хлебных крошках, связанных записях или навигации по датам. Сначала найдите зависимости, потом закрывайте от индексации.

Если вам нужен более системный контроль над дублями, технической чисткой и SEO-настройками, можно посмотреть на Clearfy Pro: https://wpshop.ru/plugins/clearfy. Но и в этом случае проверка исходного HTML и Search Console остаётся обязательной.

Что должно быть в чек-листе перед публикацией

• Проверены страницы, которые реально индексируются.
• Решено, какие архивы закрывать, а какие оставить.
• Добавлен noindex для нужных шаблонов.
• Проверен исходный HTML после очистки кэша.
• Убедились, что внутренние ссылки и навигация не сломались.
• Отправлены важные URL на повторную проверку в Search Console.

Если после внедрения страницы автора и архивы перестали попадать в индекс, а полезные разделы сайта остались доступны и без дублей, значит настройка сработала как надо. Если же трафик просел, откатите изменения и проверьте, не закрыли ли вы страницу, которая приносила переходы или участвовала в перелинковке.