В этой статье поговорим о мерах, принятых вручную, за спам в микроразметке. А именно прилетели меры за разметку фальшивых звездочек в сниппете.


Сразу скажу, что фальшивый рейтинг был поставлен специально, чтобы получить ручные меры и попробовать их снять. Так что опыт в данном случае самый практический.

Спам в разметке структурированных данных

Что такое Яндекс ИКС

Яндекс ИКС - новый рейтинг от поисковой системы Яндекс, пришедший на смену устаревшему ТИЦ. В отличии от ТИЦ в ИКС (Индекс Качества Сайта) заложен не только рассчёт суммарного траста ссылочных доноров, но и другие показатели:
При расчете индекса качества учитываются размер аудитории сайта, степень удовлетворенности пользователей, уровень доверия к сайту со стороны пользователей и Яндекса, а также другие критерии. Для расчета используются данные сервисов Яндекса. Значение индекса регулярно обновляется.
Подробнее в спарвочной статье "Что такое индекс качества сайта (ИКС)".

Как узнать Яндекс ИКС

Ручные санкции Гугл

Ручные санкции Гугл - это тоже самое, что ручные меры. Но правильно называть не санкции, а Manual Actions и русский перевод - Меры, принятые вручную (шутливо - Меры, принятые руками).

Ручные санкции Гугл

Ключевые особенности православного SEO

Как проверить индексацию сайта

Посмотреть, что попало или не попало в индекс Google - часть работы любого веб-мастера. Но немногие знают, что факт присутствия ссылок на страницы сайта  в индексе - очень расплывчатое понятие. Мерилом должны служить показы ссылок в поиске по запросам. Если показов нет, то уже и особой разницы - находится ссылка в индексе или не находится, нет.

Основной инструмент по работе с ссылками сайта - Статус индексирования в Search Console:

Статус индексирования

Суть инструмента не в конкретной цифре, а в динамике индексации. Диаграмма позволяет оценить примерную картину. Расширенные данные могут быть выгружены в таблицу:

Статус индексирования Search Console

Здесь мы видим плавную постепенную индексацию, без каких-либо аномалий при статистике сканирования:


Справочная статья "Статус индексирования". У сайтов, недавно добавленных в Search Console таковая информация отсутствует или некорректно отображается.

Файлы Sitemap.
Сайтмап делится на два вида:
  • стандартный формат sitemap
  • rss фид

В первом случае это файл или группа файлов, куда генерируются вообще все ссылки страниц с сайта. Обрабатывается он редко и долго.
Во втором случае фид имеет смысл указывать короткий, на 20-50 страниц с сортировкой в порядке обновления. Фид Google сканирует чаще, поэтому быстрее будет забирать обновлённые страницы.

Индексация Sitemap

Индексация Sitemap - это не индексация всего сайта. И Google не обязан проиндексировать всё. Очень часто встречающееся заблуждение, что в индексе должны быть все страницы. Вообще, нет смысла на крупных сайтах держать группы sitemap с миллионами страниц. Достаточно в sitemap указывать категории, далее Гугл построит скелет сайта и сам найдёт все ссылки.

На скрине видим здоровую ситуацию, sitemap читается, ошибок нет, практически всё проиндексировано. В итоге у нас цифры (кол-во страниц) 279 со Статуса индексирования и 161 с Sitemap.

Оператор Site.
Поисковый оператор site изначально служил для оценки деятельности сайта в поиске, но со временем утратил свою актуальность и не рекомендуется гуглерами для проверки индексации сайта.

С официального форума для веб-мастеров Google:

Оператор Site Google

Ни актуальных заголовков (изменяются по запросам), ни точных данных site уже не показывает. В нём можете встретить остаточный мусор, страницы, закрытые в robots, страницы, по которым нет показов и т.п., не участвующее в поиске.

Результаты в поиске Google

С возрастом сайта уменьшается точность данных, выводимых оператором. На данный момент оператор site годится лишь для мониторинга ошибок в индексе и получения общего представления о сайте, например, с его помощью можно проверить микроразметку или увидеть, есть ли ручные меры за спам или нет. При дальнейшем щёлканье по страницам выдачи с оператора можно увидеть, как цифра страниц в поиске изменяется:

Результаты в поиске Google

Всё равно, полученная цифра 130 записывается в блокнотик, а ссылки изучаются на предмет поросятины в сниппетах (паразитных кусков кода, опечаток и т.п.), заодно можно оценить кол-во отсортированных страниц, ушедших в дополнительные, т.е, в скрытые, результаты выдачи Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше:

Показать скрытые результаты

Инструменты статистики.
Основной инструмент для изучения ссылок в индексе - Метрика или Аналитика. Они позволяют разом оценить важность страниц для обеих поисковых систем (Яндекс и Google) и произвести сравнительный анализ.
В данном примере в Метрике можно увидеть главные Страницы входа.

Яндекс Метрика диаграмма

Но это популярные страницы со входящим трафиком отовсюду. Списки страниц на скриншоте обрезаны.

Сегментируем страницы по поисковой системе, в частности, Google (еще можно смотреть содержимое поискового трафика Google):

Яндекс Метрика диаграмма
Тут можно увидеть, что одна страница (кстати, из мобильного поиска) круче остальных, а список остальных страниц входа с Google представлен в Метрике ниже (не попал на скриншот). Эта цифра ~100. Но реальную пользу можно извлечь где-то из 50 страниц, что в не согласуется с цифрами, полученными выше. Далее можно отслеживать конверсии и прийти к выводу, что действительно первостепенно для сайта, и в каком русле надо продолжить работу.

По урлам и запросам (Последняя поисковая фраза в Метрике, к примеру) можно определить, какие страницы приводят посетителей, какие нет и на что вообще надо тратить время. Если ожидаемых результатов нет, тогда страница переделывается (дописывается, переписыватся, перевёрстывается - нужное подчеркнуть) и отправляется через Посмотреть как Googlebot в Search Console.Дополнительное средство для анализа - Ключевые слова в содержании.

Резюмируя выше описанное:
  • В связи с технологическим совершенствованием поиска Googleна первый план вышла актуальность страниц, имеющих показы в поиске (мобильный, планшетный, декстоп).
  • Страницы в индексе, как таковые, не играют роли, если не приводят посетителей, и мониторить их обязательное включение в индекс, без соответствующей качественной обработки, не имеет смысла.
  • Популярные жалобы "сайт не индексируется" нужно рассматривать не только в техническом плане, но и в контентном. Если страница не отвечает на запрос пользователя, то очевидно, ей в поиске делать нечего.
  • Проверка индексации сайта в Гугле - это процесс не двух нажатий, а следствие тщательного анализа различных источников, главные из которых - Search Console, Яндекс Вебмастер (для сравнительного анализа), Метрика или Аналитика.
  • Первостепенную важность имеют запросы, а не наполнение поиска Google страницами вашего сайта.

Как проверить индексацию страницы и сайта в Google

Как удалить страницу из индекса

Удаление страниц из индекса поисковиков (Яндекс и Google) - явление для владельца сайта обыденное. Сайт - динамичный "организм" контента, в котором часто что-то меняется, устаревает и обновляется. Чтобы не было в поисковом индексе свалки из ненужных ссылок, надо чётко представлять, какие средства поисковики дают для очистки выдачи от ненужного.

Удаление страниц в Яндексе
1. Запретить для сканирования и индексирования можно через robots.txt. Этого достаточно, чтобы ненужная страница исчезла из поиска.
User-agent: YandexBot
Disallow: /page.html
2. Запретить для сканирования и индексирования можно через параметр noindex для метатега robots.
<meta name="robots" content="noindex, follow"/>
3. На удалённой странице отдать код 404. Более нигде блокировать её не нужно.
4. Запросить удаление URL, если ничего из выше перечисленного не помогло, и страница до сих пор в выдаче поисковика.

Удаление страниц в Google
1. Как чистить мусор (robots.txt, метатег robots, канонические ссылки, 404)
2. Google поддерживает x-robots-tag. Применимо для удаления файлов (doc, pdf и т.д.) в результатах поиска.
3. Через Search Console в Удалить URL-адреса. Данный инструмент следует использовать осторожно и удалить только те страницы, которые содержат конфиденциальную информацию пользователей. Для остальных случаев использование инструмента может быть опасным.
См. статью "Как удалить или обновить устаревшую информацию в Google".

Как удалить страницу из индекса