Индексация сайта — это попадание его страниц в базу поисковой системы: если страницы нет в индексе, её не найдут ни в Яндексе, ни в Google. Чаще всего страница не индексируется по одной из пяти причин: её закрыли от робота (robots.txt, noindex, canonical), робот о ней не знает, она дублирует другую, поисковик счёл её малоценной или сайт технически отвечает с ошибками. Ниже — как найти причину за 30 минут в Вебмастере и Search Console и что исправлять в первую очередь.
Как работает индексация сайта
У поисковой системы три шага: робот узнаёт об адресе (по ссылке, из карты сайта, из уведомления), скачивает страницу (обход) и решает, добавлять ли её в индекс. Важно различать эти шаги: страница может быть обойдена, но не добавлена. Яндекс и Google сами решают, что держать в поиске, и отказываются от страниц, которые считают дублями или бесполезными для пользователей.
Отсюда первая мысль: «робот не пришёл» и «робот пришёл и не взял» — разные проблемы с разным лечением. Первая обычно техническая, вторая — про содержание и структуру.
Как проверить индексацию сайта
Оператор site: в поиске даёт только грубую картину. Точные данные — в кабинетах вебмастеров.
- Яндекс Вебмастер → «Индексирование» → «Страницы в поиске». Здесь видно, сколько страниц в поиске, какие добавлены и исключены и по какой причине. На вкладке исключённых страниц для каждой указан статус: редирект, дубль, запрет в robots.txt, недостаточно качественная и другие.
- Яндекс Вебмастер → «Проверка состояния страницы». Вставляете адрес — сервис покажет, когда робот был на странице, какой код ответа получил и есть ли она в поиске.
- Google Search Console → «Индексирование» → «Страницы». Отчёт делит адреса на проиндексированные и нет, с причинами: «Обнаружена, не проиндексирована», «Просканирована, но пока не проиндексирована», «Страница с переадресацией», «Исключено тегом noindex» и т. д.
- Search Console → «Проверка URL». Покажет статус конкретной страницы и позволит запросить индексирование.
Если Вебмастер у вас не подключён, начните с этого — пошагово в статье Яндекс Вебмастер: что смотреть каждую неделю.
Почему страницы не индексируются: 8 причин
| Причина | Как проявляется | Что делать |
|---|---|---|
| Запрет в robots.txt | Статус «Запрещено в robots.txt», страница не обходится | Проверьте правила Disallow в анализаторе robots.txt Вебмастера |
| Метатег noindex или X-Robots-Tag | «Исключено тегом noindex» | Уберите noindex с нужных страниц; часто он остаётся после разработки |
| Canonical на другую страницу | Страница считается неканонической | Canonical должен указывать на саму страницу, если она самостоятельная |
| Дубли | Статус «Дубль», в поиске другая версия | Склейте www/без www, слеш, параметры; уберите копии через 301 |
| Нет ссылок на страницу | «Обнаружена, не проиндексирована» или робот её не знает | Добавьте ссылки из меню, разделов и статей, внесите в sitemap.xml |
| Малоценный контент | «Недостаточно качественная», «Просканирована, но не проиндексирована» | Расширьте текст, добавьте уникальные данные, объедините похожие страницы |
| Ошибки сервера и медленный ответ | Коды 5xx, таймауты в статистике обхода | Проверьте хостинг, кэширование, отключите тяжёлые плагины |
| Контент только в JavaScript | Робот видит пустую страницу | Отдавайте основной текст и ссылки в HTML, используйте серверный рендеринг |
↔︎ таблицу можно прокрутить
Чаще всего на сайтах малого бизнеса мы встречаем три первые причины вместе: разработчик закрыл сайт на время работ и забыл открыть, а CMS проставила canonical на главную. Такие вещи находит технический SEO-аудит.
Особый случай: «недостаточно качественная» страница
Самая обидная причина — страница доступна, но поисковик не хочет её показывать. Обычно это карточки товаров без описания, страницы тегов и фильтров, похожие страницы услуг под разные города с заменой одного слова, короткие новости. Что помогает:
- Уникальный текст, который отвечает на вопрос пользователя, а не просто содержит ключ
- Цены, фото, характеристики, сроки, условия — то, чего нет на соседних страницах
- Объединение нескольких тонких страниц в одну сильную
- Внутренние ссылки с важных разделов
- Закрытие от индексации технических страниц, которые размывают сайт: поиск, сортировки, корзина
Sitemap и robots.txt: проверьте основу
Карта сайта sitemap.xml подсказывает роботу, какие страницы важны. В ней должны быть только рабочие адреса с кодом 200, канонические и открытые для индексации. Если в карте сотни адресов с редиректами и ошибками, робот перестаёт ей доверять. Добавьте карту в Вебмастер и Search Console и укажите её в robots.txt строкой Sitemap.
Файл robots.txt управляет обходом, а не индексацией. Если страница закрыта в robots.txt, но на неё есть внешние ссылки, Google может показать её адрес в поиске без описания. Чтобы надёжно убрать страницу из поиска, используйте noindex — и не закрывайте её одновременно в robots.txt, иначе робот этот noindex не увидит.
Страницы не в поиске?
Проверим индексацию, robots.txt, canonical, дубли и скорость сервера и пришлём список исправлений по приоритету.
Заказать SEO-аудит →Как ускорить индексацию сайта
Если причина устранена, остаётся дождаться робота. Процесс можно подтолкнуть.
- Переобход в Яндекс Вебмастере. Раздел «Индексирование → Переобход страниц»: добавьте адреса новых и исправленных страниц. Есть дневной лимит, его видно в интерфейсе.
- Запрос индексирования в Search Console. Через «Проверку URL» по одной странице.
- Протокол IndexNow. Яндекс поддерживает его: сайт сам сообщает поисковику о новых и изменённых адресах. Многие CMS умеют это через модуль.
- Ссылки с проиндексированных страниц. Новая статья, на которую ссылаются главная и разделы, найдётся быстрее, чем страница, известная только из sitemap.
- Регулярные обновления. Сайт, где часто появляется полезный контент, робот посещает чаще.
Сроки разные: от нескольких дней до нескольких недель. Если через месяц страницы всё ещё нет, а технических запретов не видно — скорее всего, дело в качестве или дублировании.
Индексация нового сайта: чек-лист запуска
Новый сайт — частый источник проблем: его долго собирают на тестовом адресе, закрывают от роботов, а при переносе на основной домен что-то забывают. Перед открытием пройдитесь по списку:
- Тестовая копия закрыта паролем или noindex, а основной домен — открыт
- В robots.txt нет строки Disallow: / и указан адрес sitemap.xml
- На страницах нет метатега robots со значением noindex, кроме служебных
- Настроено главное зеркало: один адрес с https, с www или без — остальные ведут на него 301-редиректом
- Каждая страница отдаёт код 200, несуществующие — код 404, а не главную
- У каждой страницы свой title и description, нет одинаковых заголовков
- Сайт добавлен в Вебмастер и Search Console, права подтверждены, карта загружена
- Указан регион сайта и подключена карточка организации — для местного бизнеса это важно
Если сайт переезжает со старого адреса, отдельно составьте таблицу соответствия старых и новых адресов и настройте 301-редиректы для каждой страницы. Иначе накопленный вес и позиции старых страниц пропадут, а новые будут индексироваться с нуля.
Большие сайты и интернет-магазины
Когда страниц тысячи, появляется ограничение, о котором владельцы лендингов не думают: робот не обходит всё сразу. Он распределяет внимание, и если половину визитов тратит на фильтры, сортировки и страницы с параметрами, до новых товаров очередь доходит позже. Поэтому в магазинах важно:
- закрыть от индексации комбинации фильтров, которые не нужны в поиске, и оставить открытыми только посадочные — например, «кроссовки мужские 43 размер», если под них есть спрос;
- убрать бесконечные адреса: параметры сессий, сортировки, страницы печати;
- следить, чтобы у товаров, которых нет в наличии, не было массовых ошибок 404 — лучше оставлять страницу с пометкой и похожими товарами;
- смотреть в Вебмастере статистику обхода: какие типы страниц робот посещает чаще всего.
Подробнее о структуре каталога — в статье про SEO интернет-магазина.
Если страницы выпали из индекса
Резкое падение числа страниц в поиске — повод проверить в таком порядке:
- Не обновлялся ли сайт: новый шаблон или модуль мог добавить noindex или сменить адреса.
- Нет ли ошибок 5xx в статистике обхода: хостинг мог «лечь» как раз когда приходил робот.
- Не сменился ли протокол или домен без 301-редиректов для каждой страницы.
- Нет ли сообщений о нарушениях и угрозах безопасности в «Диагностике» Вебмастера.
- Не появились ли массовые дубли: фильтры, UTM-метки, страницы печати.
Индексация — фундамент. Без неё не работают ни тексты, ни ссылки, ни поведенческие факторы. Проверяйте её раз в неделю, особенно после любых изменений на сайте.
Вопросы и ответы
Как быстро проверить индексацию сайта?
Откройте в Яндекс Вебмастере раздел «Страницы в поиске», в Google Search Console — отчёт «Страницы». Для отдельной страницы используйте «Проверку состояния страницы» в Вебмастере и «Проверку URL» в Search Console.
Сколько времени занимает индексация новой страницы?
Обычно от нескольких дней до пары недель. Ускоряют процесс переобход в Вебмастере, IndexNow, запрос в Search Console и ссылки с уже проиндексированных страниц.
Почему страница есть в Google, но нет в Яндексе?
Системы оценивают страницы по-разному. Посмотрите статус в Вебмастере: Яндекс мог счесть её дублем или недостаточно качественной, тогда нужно усиливать содержание.
Можно ли закрыть страницу от индексации через robots.txt?
robots.txt запрещает обход, но не гарантирует, что адрес не появится в поиске. Надёжнее метатег noindex, при этом страница должна быть доступна роботу.
Итого
- Индексация — обход и добавление страницы в базу; «не обошёл» и «обошёл, но не взял» лечатся по-разному.
- Статус каждой страницы смотрите в Вебмастере и Search Console, а не через оператор site:.
- Частые причины: robots.txt, noindex, canonical, дубли, нет внутренних ссылок, малоценный контент, ошибки сервера.
- Sitemap должна содержать только рабочие канонические страницы.
- Ускоряют индексацию переобход, IndexNow, запрос в Search Console и внутренние ссылки.
Не уверены, что все важные страницы сайта в поиске? Проверьте сайт бесплатно или закажите SEO-продвижение — начнём с аудита индексации и технических ошибок.