На небольших и средних сайтах страницы автора и архивы часто превращаются в лишний слой индексации: у них мало уникального контента, они дублируют списки записей и раздувают количество URL в поиске. Проблема не в самих архивах как таковых, а в том, что они начинают конкурировать с основными страницами сайта и тянут на себя краулинговый бюджет.
Ниже разберём, когда такие страницы действительно стоит закрывать, как сделать это аккуратно через код или SEO-плагин, и как проверить, что поисковики получили именно тот сигнал, который вы планировали.
Когда страницы автора и архивы лучше закрыть от индексации
Не все архивы нужно трогать. Если на сайте есть полноценные страницы авторов с биографией, ссылками на соцсети, списком публикаций и отдельной ценностью для пользователя, их можно оставить открытыми. Но если архив автора — это просто повтор списка записей без дополнительного смысла, закрытие от индексации обычно оправдано.
Типичные сценарии, где закрытие помогает
- на сайте один автор, и архив автора дублирует главную ленту;
- у нескольких авторов нет уникальных описаний и аватаров;
- архивы категорий и тегов уже создают достаточно точек входа, а авторские страницы только добавляют шум;
- сайт публикует много коротких материалов, и в индексе появляются страницы с низкой ценностью;
- в поиске уже есть проблемы с дублями, но canonical не решает вопрос полностью.
Если архивы используются как навигационный слой и реально помогают пользователю, лучше не закрывать их автоматически. В таких случаях сначала улучшайте шаблон архива: добавьте описание, нормальный заголовок, хлебные крошки, блок с полезным контентом. Закрытие — это не замена структуре сайта, а способ убрать лишнее из индекса.
Диагностика: что именно попадает в индекс
Перед изменениями проверьте, какие URL уже индексируются. Иначе можно закрыть не ту сущность и получить просадку по нужным страницам.
Что смотреть в первую очередь
- поисковый оператор
site:example.com authorилиsite:example.com /author/; - отчёт по страницам в Google Search Console;
- исходный код архива: есть ли
meta robots, canonical и noindex; - не генерирует ли тема отдельные архивы по авторам, датам и тегам одновременно;
- не создают ли плагины SEO конфликтующие директивы.
Если в Search Console видно много страниц автора с низким числом показов и кликов, а на сайте нет смысла поддерживать эти архивы как посадочные, их можно закрывать. Но сначала убедитесь, что это именно архивы, а не важные страницы профилей.
Пошаговое решение через код
Если нужен точечный контроль без зависимости от интерфейса плагина, проще всего добавить фильтр, который ставит noindex,follow для архивов автора и, при необходимости, для датированных архивов.
Ниже пример для functions.php дочерней темы или для небольшого mu-plugin.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
if ( is_date() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот вариант не ломает обход ссылок и не запрещает поисковику переходить по внутренним ссылкам на странице. Для большинства технических задач это лучше, чем жёсткий disallow в robots.txt, потому что robots.txt не убирает URL из индекса, если он уже известен поисковику.
Если нужно закрыть только архивы автора
Иногда датированные архивы полезны для новостного проекта, а авторские — нет. Тогда оставляйте только условие is_author(). Это безопаснее и точнее.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Если у вас уже стоит SEO-плагин, проверьте, не дублирует ли он эту настройку. Два источника директив часто приводят к путанице: в коде одно, в плагине другое, а в HTML — третье.
Настройка через SEO-плагин: когда это проще
Если на сайте уже используется SEO-плагин, закрывать архивы логичнее в его настройках, а не через отдельный код. Так проще поддерживать проект, особенно если над сайтом работает несколько человек.
| Подход | Плюсы | Минусы |
|---|---|---|
Код через wp_robots | Точный контроль, не зависит от интерфейса | Нужно сопровождение в теме или mu-plugin |
| Настройки SEO-плагина | Удобно для редактора и менеджера | Возможны конфликты с темой и другими плагинами |
robots.txt | Быстро закрывает обход | Не решает вопрос индексации уже известных URL |
Если вы используете Clearfy Pro, в его SEO-настройках можно отключать индексацию архивов и других служебных страниц без ручного кода. Это удобно, когда нужно быстро привести в порядок технические страницы сайта, но всё равно стоит проверить итоговый HTML и Search Console. Ссылка на плагин: Clearfy Pro.
Проверка результата после внедрения
После изменений не ограничивайтесь визуальной проверкой в браузере. Нужно убедиться, что директива реально попала в HTML и не была перезаписана другим слоем.
Что проверить вручную
- откройте архив автора и посмотрите исходный код страницы;
- найдите строку с
meta name="robots"или заголовокX-Robots-Tag, если он используется; - убедитесь, что на странице есть
noindexи нет конфликтующегоindex; - проверьте, что canonical указывает на саму страницу или на ожидаемую целевую страницу;
- в Search Console отправьте URL на повторную проверку после переобхода.
Если используете серверный заголовок X-Robots-Tag, смотрите ответ через curl -I:
curl -I https://example.com/author/ivanov/В ответе должен быть виден нужный заголовок, если вы настраивали его на уровне сервера или плагина. Если заголовка нет, а в HTML всё правильно, значит настройка работает только на уровне страницы — это тоже допустимо, если вам не нужен серверный контроль.
Частые ошибки и как их исправить
Закрыли в robots.txt вместо noindex
Это самая частая ошибка. Если URL уже известен поисковику, запрет на обход не гарантирует удаление из индекса. Для удаления мусорных страниц нужен именно noindex или корректная обработка через SEO-плагин.
Оставили архив доступным по внутренним ссылкам, но закрыли только частично
Например, страницу автора закрыли, но ссылки на неё остались в хлебных крошках, блоках «Автор» и в метаданных. Это не критично, но тогда поисковик всё равно будет регулярно находить URL. Если страница не нужна, уберите лишние ссылки из шаблона.
Получили конфликт между темой и SEO-плагином
Если тема сама выводит meta robots, а плагин добавляет свою версию, в HTML может появиться несколько директив. В таком случае оставьте один источник правды: либо код темы, либо настройки плагина.
Закрыли архивы, которые реально дают трафик
Такое бывает на новостных и экспертных сайтах, где авторские страницы собирают переходы по брендовым запросам. Перед закрытием посмотрите статистику по страницам в аналитике и Search Console. Если архив уже работает как посадочная, лучше улучшить его, а не отключать от индекса.
Практические советы по безопасности и производительности
С точки зрения производительности закрытие архивов само по себе не ускоряет сайт заметно, но уменьшает количество бесполезных страниц в обходе и упрощает структуру индекса. Это особенно полезно, если у вас много служебных архивов, тегов и датированных страниц.
- не правьте
functions.phpосновной темы на живом сайте без резервной копии; - если настройка нужна надолго, вынесите её в дочернюю тему или mu-plugin;
- после изменений очистите кеш страницы и кеш CDN, если он есть;
- не закрывайте от индексации всё подряд только потому, что страница выглядит «служебной»;
- проверяйте, не создаёт ли плагин SEO отдельные правила для архивов автора и дат.
Если задача шире и нужно не только закрыть архивы, но и убрать дубли, почистить служебные страницы и привести технический SEO-слой в порядок, имеет смысл смотреть на комплексные инструменты вроде Clearfy Pro. Но даже в этом случае сначала определите, какие URL должны остаться в индексе, а какие — нет. Иначе можно случайно убрать полезные посадочные страницы вместе с мусором.
После внедрения вернитесь к Search Console через несколько дней и проверьте, как меняется статус страниц. Если URL всё ещё индексируется, ищите конфликтующие директивы, кеш и старые версии HTML в CDN или у поискового робота.