Как проверить индексацию страницы и сайта в Google

Как проверить индексацию сайта

Посмотреть, что попало или не попало в индекс Google - часть работы любого веб-мастера. Но немногие знают, что факт присутствия ссылок на страницы сайта  в индексе - очень расплывчатое понятие. Мерилом должны служить показы ссылок в поиске по запросам. Если показов нет, то уже и особой разницы - находится ссылка в индексе или не находится, нет.

Search Console

Основной инструмент по работе с ссылками сайта - Проверка URLв новой Search Console:


Здесь всё просто: указываете URL страницы, проверяете на наличие её в индексе, и если нет ошибок и противоречий, отправляете на индексацию. Серч коносль работает крайне медленно, поэтому много ссылок отправить быстро не получится.

Обратите внимание на инструменты (там же в новой Серч консоли) Эффективность и Покрытие.  Они показывают более масштабную картинку и дают статистику по показам.

См. статью Отчет об эффективности.

Файлы Sitemap

Сайтмап делится на два вида:
  • стандартный формат sitemap
  • rss фид

В первом случае это файл или группа файлов, куда генерируются вообще все ссылки страниц с сайта. Обрабатывается он редко и долго.
Во втором случае фид имеет смысл указывать короткий, на 20-50 страниц с сортировкой в порядке обновления. Фид Google сканирует чаще, поэтому быстрее будет забирать обновлённые страницы.

Индексация Sitemap

Индексация Sitemap - это не индексация всего сайта. И Google не обязан проиндексировать всё. Очень часто встречающееся заблуждение, что в индексе должны быть все страницы. Вообще, нет смысла на крупных сайтах держать группы sitemap с миллионами страниц. Достаточно в sitemap указывать категории, далее Гугл построит скелет сайта и сам найдёт все ссылки.

На скрине видим здоровую ситуацию, sitemap читается, ошибок нет, практически всё проиндексировано. В итоге у нас цифры (кол-во страниц) 279 со Статуса индексирования и 161 с Sitemap.

Оператор Site

Поисковый оператор site изначально служил для оценки деятельности сайта в поиске, но со временем утратил свою актуальность и не рекомендуется гуглерами для проверки индексации сайта.

С официального форума для веб-мастеров Google:

Оператор Site Google

Ни актуальных заголовков (изменяются по запросам), ни точных данных site уже не показывает. В нём можете встретить остаточный мусор, страницы, закрытые в robots, страницы, по которым нет показов и т.п., не участвующее в поиске.

Результаты в поиске Google

С возрастом сайта уменьшается точность данных, выводимых оператором. На данный момент оператор site годится лишь для мониторинга ошибок в индексе и получения общего представления о сайте, например, с его помощью можно проверить микроразметку или увидеть, есть ли ручные меры за спам или нет. При дальнейшем щёлканье по страницам выдачи с оператора можно увидеть, как цифра страниц в поиске изменяется:

Результаты в поиске Google

Всё равно, полученная цифра 130 записывается в блокнотик, а ссылки изучаются на предмет поросятины в сниппетах (паразитных кусков кода, опечаток и т.п.), заодно можно оценить кол-во отсортированных страниц, ушедших в дополнительные, т.е, в скрытые, результаты выдачи Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше:

Показать скрытые результаты

Сервисы проверки индексации страниц

Проверить индексацию сайта в Google и Яндексе можно с помощью сервиса Serphunt https://serphunt.ru/indexing/.
Данный сервис позволяет производить пакетную (списком, возможность загрузки до 50 адресов) проверку ссылок на наличие индексации в обоих поисковиках.

Проверка индексации с помощью Серпхант

Так же Серпхант умеет проверять позиции, имеет инструменты для оценки эффективности и мониторинга сайтов, а так же есть функция анализа страниц конкурентов.

Инструменты статистики

Основной инструмент для изучения ссылок в индексе - Метрика или Аналитика. Они позволяют разом оценить важность страниц для обеих поисковых систем (Яндекс и Google) и произвести сравнительный анализ.
В данном примере в Метрике можно увидеть главные Страницы входа.

Яндекс Метрика диаграмма

Но это популярные страницы со входящим трафиком отовсюду. Списки страниц на скриншоте обрезаны.

Сегментируем страницы по поисковой системе, в частности, Google (еще можно смотреть содержимое поискового трафика Google):

Яндекс Метрика диаграмма
Тут можно увидеть, что одна страница (кстати, из мобильного поиска) круче остальных, а список остальных страниц входа с Google представлен в Метрике ниже (не попал на скриншот). Эта цифра ~100. Но реальную пользу можно извлечь где-то из 50 страниц, что в не согласуется с цифрами, полученными выше. Далее можно отслеживать конверсии и прийти к выводу, что действительно первостепенно для сайта, и в каком русле надо продолжить работу.

По урлам и запросам (Последняя поисковая фраза в Метрике, к примеру) можно определить, какие страницы приводят посетителей, какие нет и на что вообще надо тратить время. Если ожидаемых результатов нет, тогда страница переделывается (дописывается, переписыватся, перевёрстывается - нужное подчеркнуть) и отправляется через Инструмент проверки URL в Search Console. Дополнительное средство для анализа - Отчет об эффективности.

Резюмируя выше описанное:
  • В связи с технологическим совершенствованием поиска Googleна первый план вышла актуальность страниц, имеющих показы в поиске (мобильный, планшетный, декстоп).
  • Страницы в индексе, как таковые, не играют роли, если не приводят посетителей, и мониторить их обязательное включение в индекс, без соответствующей качественной обработки, не имеет смысла.
  • Популярные жалобы "сайт не индексируется" нужно рассматривать не только в техническом плане, но и в контентном. Если страница не отвечает на запрос пользователя, то очевидно, ей в поиске делать нечего.
  • Проверка индексации сайта в Гугле - это процесс не двух нажатий, а следствие тщательного анализа различных источников, главные из которых - Search Console, Яндекс Вебмастер (для сравнительного анализа), Метрика или Аналитика.
  • Первостепенную важность имеют запросы, а не наполнение поиска Google страницами вашего сайта.