Как проверить индексацию сайта

Как проверить индексацию сайта

Посмотреть, что попало или не попало в индекс Google - часть работы любого веб-мастера. Но немногие знают, что нахождение ссылок сайта в индексе - очень расплывчатое понятие. Мерилом должны служить показы ссылок в поиске по запросам. Если показов нет, то уже и особой разницы - находится ссылка в индексе или не находится, нет.

Основной инструмент по работе с ссылками сайта - Статус индексирования в Search Console:

Статус индексирования

Суть инструмента не в конкретной цифре, а в динамике индексации. Диаграмма позволяет оценить примерную картину. Расширенные данные могут быть выгружены в таблицу:

Статус индексирования Search Console

Здесь мы видим плавную постепенную индексацию, без каких-либо аномалий при статистике сканирования:


Справочная статья "Статус индексирования". У сайтов, недавно добавленных в Search Console таковая информация отсутствует или некорректно отображается.

Файлы Sitemap.
Сайтмап делится на два вида:
  • стандартный формат sitemap
  • rss фид

В первом случае это файл или группа файлов, куда генерируются вообще все ссылки страниц с сайта. Обрабатывается он редко и долго.
Во втором случае фид имеет смысл указывать короткий, на 20-50 страниц с сортировкой в порядке обновления. Фид Google сканирует чаще, поэтому быстрее будет забирать обновлённые страницы.

Индексация Sitemap

Индексация Sitemap - это не индексация всего сайта. И Google не обязан проиндексировать всё. Очень часто встречающееся заблуждение, что в индексе должны быть все страницы. Вообще, нет смысла на крупных сайтах держать группы sitemap с миллионами страниц. Достаточно в sitemap указывать категории, далее Гугл построит скелет сайта и сам найдёт все ссылки.

На скрине видим здоровую ситуацию, sitemap читается, ошибок нет, практически всё проиндексировано. В итоге у нас цифры (кол-во страниц) 279 со Статуса индексирования и 161 с Sitemap.

Оператор Site.
Поисковый оператор site изначально служил для оценки деятельности сайта в поиске, но со временем утратил свою актуальность и не рекомендуется гуглерами для проверки индексации сайта.

С официального форума для веб-мастеров Google:

Оператор Site Google

Ни актуальных заголовков (изменяются по запросам), ни точных данных site уже не показывает. В нём можете встретить остаточный мусор, страницы, закрытые в robots, страницы, по которым нет показов и т.п., не участвующее в поиске.

Результаты в поиске Google

С возрастом сайта уменьшается точность данных, выводимых оператором. На данный момент оператор site годится лишь для мониторинга ошибок в индексе и получения общего представления о сайте, например, с его помощью можно проверить микроразметку или увидеть, есть ли ручные меры за спам или нет. При дальнейшем щёлканье по страницам выдачи с оператора можно увидеть, как цифра страниц в поиске изменяется:

Результаты в поиске Google

Всё равно, полученная цифра 130 записывается в блокнотик, а ссылки изучаются на предмет поросятины в сниппетах (паразитных кусков кода, опечаток и т.п.), заодно можно оценить кол-во отсортированных страниц, ушедших в дополнительные, т.е, в скрытые, результаты выдачи Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше:

Показать скрытые результаты

Инструменты статистики.
Основной инструмент для изучения ссылок в индексе - Метрика или Аналитика. Они позволяют разом оценить важность страниц для обеих поисковых систем (Яндекс и Google) и произвести сравнительный анализ.
В данном примере в Метрике можно увидеть главные Страницы входа.

Яндекс Метрика диаграмма

Но это популярные страницы со входящим трафиком отовсюду. Списки страниц на скриншоте обрезаны.

Сегментируем страницы по поисковой системе, в частности, Google (еще можно смотреть содержимое поискового трафика Google):

Яндекс Метрика диаграмма
Тут можно увидеть, что одна страница (кстати, из мобильного поиска) круче остальных, а список остальных страниц входа с Google представлен в Метрике ниже (не попал на скриншот). Эта цифра ~100. Но реальную пользу можно извлечь где-то из 50 страниц, что в не согласуется с цифрами, полученными выше. Далее можно отслеживать конверсии и прийти к выводу, что действительно первостепенно для сайта, и в каком русле надо продолжить работу.

По урлам и запросам (Последняя поисковая фраза в Метрике, к примеру) можно определить, какие страницы приводят посетителей, какие нет и на что вообще надо тратить время. Если ожидаемых результатов нет, тогда страница переделывается (дописывается, переписыватся, перевёрстывается - нужное подчеркнуть) и отправляется через Посмотреть как Googlebot в Search Console.Дополнительное средство для анализа - Ключевые слова в содержании.

Резюмируя выше описанное:
  • В связи с технологическим совершенствованием поиска Googleна первый план вышла актуальность страниц, имеющих показы в поиске (мобильный, планшетный, декстоп).
  • Страницы в индексе, как таковые, не играют роли, если не приводят посетителей, и мониторить их обязательное включение в индекс, без соответствующей качественной обработки, не имеет смысла.
  • Популярные жалобы "сайт не индексируется" нужно рассматривать не только в техническом плане, но и в контентном. Если страница не отвечает на запрос, то очевидно, ей в поиске делать нечего.
  • Проверка индексации сайта в Гугле - это процесс не двух нажатий, а следствие тщательного анализа различных источников, главные из которых - Search Console, Яндекс Вебмастер (для сравнительного анализа), Метрика или Аналитика.
  • Первостепенную важность имеют запросы, а не наполнение поиска Google страницами вашего сайта.