Поисковые системы (Google, Яндекс, Bing) оценивают доступность веб-страницы для индексирования на нескольких последовательных уровнях. Ошибка даже в одном из них может полностью исключить важную посадочную страницу из поисковой выдачи или, наоборот, открыть для поиска конфиденциальные и дублирующие разделы.
Наш сервис проверяет полный стек директив индексации в реальном времени: HTTP-код ответа сервера, правила файла robots.txt для конкретных ботов (Googlebot, Yandex), HTML-метатеги <meta name="robots">, HTTP-заголовки X-Robots-Tag и директиву canonical.
Чем отличается запрет в robots.txt от тега noindex?
Файл robots.txt запрещает поисковому роботу скачивать (краулить) содержимое страницы. Однако если на страницу ведут внешние ссылки, поисковик всё равно может добавить её URL в индекс без описания. Тег <meta name="robots" content="noindex">, напротив, разрешает краулинг, но прямо предписывает роботу удалить страницу из индекса поисковой системы.
Что произойдёт, если одновременно закрыть страницу в robots.txt и поставить noindex?
Это классическая грубая ошибка в SEO: бот не сможет загрузить HTML-код страницы из-за правила Disallow в robots.txt и поэтому попросту не увидит директиву noindex. В результате страница может остаться в индексе в виде «пустого» URL. Чтобы noindex сработал, страница обязана быть доступна для скачивания в robots.txt.
Когда необходимо использовать HTTP-заголовок X-Robots-Tag?
X-Robots-Tag отдаётся сервером в HTTP-заголовках и незаменим для файлов, не имеющих HTML-разметки: PDF-документов, изображений, таблиц XLSX, архивов и фидов данных. Также его часто настраивают в Nginx или Apache для глобального закрытия тестовых поддоменов и API.
Как тег rel="canonical" влияет на индексирование?
Тег canonical указывает поисковой системе предпочтительный основной адрес документа среди дублей. Если неканоническая страница имеет canonical на другую, поисковик объединит ссылочные сигналы и будет отображать в выдаче канонический адрес.
Сравнение методов управления индексацией страниц
| Метод | Где задаётся | Запрещает скачивание | Гарантирует удаление из индекса | Основное применение |
|---|---|---|---|---|
| Robots.txt (Disallow) | Файл /robots.txt | Да | Нет (может попасть по внешним ссылкам) | Экономия краулингового бюджета, закрытие админок и поиска |
| Meta Robots (noindex) | HTML-код в <head> | Нет | Да (робот читает тег и удаляет из индекса) | Служебные страницы, фильтры каталога, корзина, пагинация |
| X-Robots-Tag | HTTP-заголовки сервера | Нет | Да | PDF, файлы, изображения, тестовые контуры, API |
| rel="canonical" | HTML-код в <head> | Нет | Нет (рекомендация поисковику) | Борьба с дублями, UTM-метками и сортировками |
| HTTP 404 / 410 | Статус ответа сервера | Да | Да (страница признаётся удалённой) | Окончательно удалённые товары, статьи и страницы |