ПозвонитьMAXОставить заявку
SEO

Индексация сайта: почему страницы не попадают в поиск

29 октября 20268 мин чтенияРУСТЕХНОЛОГИИ

Индексация сайта — это попадание его страниц в базу поисковой системы: если страницы нет в индексе, её не найдут ни в Яндексе, ни в Google. Чаще всего страница не индексируется по одной из пяти причин: её закрыли от робота (robots.txt, noindex, canonical), робот о ней не знает, она дублирует другую, поисковик счёл её малоценной или сайт технически отвечает с ошибками. Ниже — как найти причину за 30 минут в Вебмастере и Search Console и что исправлять в первую очередь.

Содержание

Как работает индексация сайта

У поисковой системы три шага: робот узнаёт об адресе (по ссылке, из карты сайта, из уведомления), скачивает страницу (обход) и решает, добавлять ли её в индекс. Важно различать эти шаги: страница может быть обойдена, но не добавлена. Яндекс и Google сами решают, что держать в поиске, и отказываются от страниц, которые считают дублями или бесполезными для пользователей.

Отсюда первая мысль: «робот не пришёл» и «робот пришёл и не взял» — разные проблемы с разным лечением. Первая обычно техническая, вторая — про содержание и структуру.

Как проверить индексацию сайта

Оператор site: в поиске даёт только грубую картину. Точные данные — в кабинетах вебмастеров.

Если Вебмастер у вас не подключён, начните с этого — пошагово в статье Яндекс Вебмастер: что смотреть каждую неделю.

Почему страницы не индексируются: 8 причин

ПричинаКак проявляетсяЧто делать
Запрет в robots.txtСтатус «Запрещено в robots.txt», страница не обходитсяПроверьте правила Disallow в анализаторе robots.txt Вебмастера
Метатег noindex или X-Robots-Tag«Исключено тегом noindex»Уберите noindex с нужных страниц; часто он остаётся после разработки
Canonical на другую страницуСтраница считается неканоническойCanonical должен указывать на саму страницу, если она самостоятельная
ДублиСтатус «Дубль», в поиске другая версияСклейте www/без www, слеш, параметры; уберите копии через 301
Нет ссылок на страницу«Обнаружена, не проиндексирована» или робот её не знаетДобавьте ссылки из меню, разделов и статей, внесите в sitemap.xml
Малоценный контент«Недостаточно качественная», «Просканирована, но не проиндексирована»Расширьте текст, добавьте уникальные данные, объедините похожие страницы
Ошибки сервера и медленный ответКоды 5xx, таймауты в статистике обходаПроверьте хостинг, кэширование, отключите тяжёлые плагины
Контент только в JavaScriptРобот видит пустую страницуОтдавайте основной текст и ссылки в HTML, используйте серверный рендеринг

↔︎ таблицу можно прокрутить

Чаще всего на сайтах малого бизнеса мы встречаем три первые причины вместе: разработчик закрыл сайт на время работ и забыл открыть, а CMS проставила canonical на главную. Такие вещи находит технический SEO-аудит.

Особый случай: «недостаточно качественная» страница

Самая обидная причина — страница доступна, но поисковик не хочет её показывать. Обычно это карточки товаров без описания, страницы тегов и фильтров, похожие страницы услуг под разные города с заменой одного слова, короткие новости. Что помогает:

Sitemap и robots.txt: проверьте основу

Карта сайта sitemap.xml подсказывает роботу, какие страницы важны. В ней должны быть только рабочие адреса с кодом 200, канонические и открытые для индексации. Если в карте сотни адресов с редиректами и ошибками, робот перестаёт ей доверять. Добавьте карту в Вебмастер и Search Console и укажите её в robots.txt строкой Sitemap.

Файл robots.txt управляет обходом, а не индексацией. Если страница закрыта в robots.txt, но на неё есть внешние ссылки, Google может показать её адрес в поиске без описания. Чтобы надёжно убрать страницу из поиска, используйте noindex — и не закрывайте её одновременно в robots.txt, иначе робот этот noindex не увидит.

Страницы не в поиске?

Проверим индексацию, robots.txt, canonical, дубли и скорость сервера и пришлём список исправлений по приоритету.

Заказать SEO-аудит →

Как ускорить индексацию сайта

Если причина устранена, остаётся дождаться робота. Процесс можно подтолкнуть.

  1. Переобход в Яндекс Вебмастере. Раздел «Индексирование → Переобход страниц»: добавьте адреса новых и исправленных страниц. Есть дневной лимит, его видно в интерфейсе.
  2. Запрос индексирования в Search Console. Через «Проверку URL» по одной странице.
  3. Протокол IndexNow. Яндекс поддерживает его: сайт сам сообщает поисковику о новых и изменённых адресах. Многие CMS умеют это через модуль.
  4. Ссылки с проиндексированных страниц. Новая статья, на которую ссылаются главная и разделы, найдётся быстрее, чем страница, известная только из sitemap.
  5. Регулярные обновления. Сайт, где часто появляется полезный контент, робот посещает чаще.

Сроки разные: от нескольких дней до нескольких недель. Если через месяц страницы всё ещё нет, а технических запретов не видно — скорее всего, дело в качестве или дублировании.

Индексация нового сайта: чек-лист запуска

Новый сайт — частый источник проблем: его долго собирают на тестовом адресе, закрывают от роботов, а при переносе на основной домен что-то забывают. Перед открытием пройдитесь по списку:

Если сайт переезжает со старого адреса, отдельно составьте таблицу соответствия старых и новых адресов и настройте 301-редиректы для каждой страницы. Иначе накопленный вес и позиции старых страниц пропадут, а новые будут индексироваться с нуля.

Большие сайты и интернет-магазины

Когда страниц тысячи, появляется ограничение, о котором владельцы лендингов не думают: робот не обходит всё сразу. Он распределяет внимание, и если половину визитов тратит на фильтры, сортировки и страницы с параметрами, до новых товаров очередь доходит позже. Поэтому в магазинах важно:

Подробнее о структуре каталога — в статье про SEO интернет-магазина.

Если страницы выпали из индекса

Резкое падение числа страниц в поиске — повод проверить в таком порядке:

Индексация — фундамент. Без неё не работают ни тексты, ни ссылки, ни поведенческие факторы. Проверяйте её раз в неделю, особенно после любых изменений на сайте.

Вопросы и ответы

Как быстро проверить индексацию сайта?

Откройте в Яндекс Вебмастере раздел «Страницы в поиске», в Google Search Console — отчёт «Страницы». Для отдельной страницы используйте «Проверку состояния страницы» в Вебмастере и «Проверку URL» в Search Console.

Сколько времени занимает индексация новой страницы?

Обычно от нескольких дней до пары недель. Ускоряют процесс переобход в Вебмастере, IndexNow, запрос в Search Console и ссылки с уже проиндексированных страниц.

Почему страница есть в Google, но нет в Яндексе?

Системы оценивают страницы по-разному. Посмотрите статус в Вебмастере: Яндекс мог счесть её дублем или недостаточно качественной, тогда нужно усиливать содержание.

Можно ли закрыть страницу от индексации через robots.txt?

robots.txt запрещает обход, но не гарантирует, что адрес не появится в поиске. Надёжнее метатег noindex, при этом страница должна быть доступна роботу.

Итого

  • Индексация — обход и добавление страницы в базу; «не обошёл» и «обошёл, но не взял» лечатся по-разному.
  • Статус каждой страницы смотрите в Вебмастере и Search Console, а не через оператор site:.
  • Частые причины: robots.txt, noindex, canonical, дубли, нет внутренних ссылок, малоценный контент, ошибки сервера.
  • Sitemap должна содержать только рабочие канонические страницы.
  • Ускоряют индексацию переобход, IndexNow, запрос в Search Console и внутренние ссылки.

Не уверены, что все важные страницы сайта в поиске? Проверьте сайт бесплатно или закажите SEO-продвижение — начнём с аудита индексации и технических ошибок.

Похожие статьи

Мы используем cookies для аналитики и улучшения сайта. Продолжая, вы соглашаетесь с политикой конфиденциальности.