Что такое ручные меры

Ручные меры или (что правильнее) Manual Actions (Меры, принятые вручную) - согласно самому названию означают вмешательство команды Google по борьбе в поисковую выдачу с целью пресечения нарушений сайта или группы сайтов.

Ручные меры накладываются:

Распространённые виды ручных мер Google.
Спам в расширенных описаниях.
Отключается микроразметка и расширенные описания для сайта. Выдают, например, за фальшивые рейтинги. Вообще отображение сайтов регулируется алгоритмически, поэтому подобный вид мер можно получить только по жалобе "друзей сайта".
Пример входящего письма от команды по борьбе с веб-спамом:
Мы обнаружили на Вашем сайте страницы, на которых разметка структурированных данных не соответствует нашим рекомендациям. Расширенные описания таких страниц не будут появляться в результатах Google Поиска. Эти меры были вручную применены к сайту site.com. Исправьте разметку и запросите повторную проверку. Если сайт будет соответствовать нашим рекомендациям, мы отменим принятые меры.

Агрессивный спам.
Много тизеров и прочей дряни. Плохое состояние сайта, некачественный контент. Первое, что надо сделать - снять всю "монетизацию". Повторные меры за то же самое приведут к длительному бану. Кстати, переизбыток Adsense и РСЯ тоже в какой-то мере считается спамом при недостатке годного контента.
Пример входящего письма от команды по борьбе с веб-спамом:
На Вашем сайте был обнаружен агрессивный спам. Поэтому мы вручную приняли меры в отношении страниц по адресу *** для защиты от спама. К сайту или его отдельным частям могут быть применены и другие меры.

Неинформативное бесполезное содержание.
Бесполезный контент, дубли, плохое состояние сайта. Название было придумано ещё со времён актуальности сплогов. Снять очень трудно, потому что придётся в корне переписывать сайт, пока проверка не решит, что хватит. Кстати , попытки монетизировать чужие видеоролики с помощью сайта  являются отягчающими факторами при проверке.
Пример входящего письма от команды по борьбе с веб-спамом:
На этом сайте обнаружено значительное количество низкокачественных или малоинформативных страниц, содержание которых не представляет ценности для пользователей (например, страницы партнерских программ, шаблонные страницы, дорвеи, а также страницы, содержание которых было создано автоматически или скопировано с других сайтов).

Маскировка и скрытая переадресация.
Это вап-клик, кликандеры и подобные технологии перенаправления пользователей. Перенаправлять вообще никак нельзя, даже на приложение из Google Play. Достаточно снять скриншоты и отправить жалобу в Google. За вап-клик (редирект мобильных пользователей на платные подписки) наказание самое суровое - от нескольких месяцев до бесконечности. Отказывать будут в запросах на повторную проверку точно. Конечно могут и с первого раза разбанить, но только сайты, заслуживающие этого. Самое плохое отношение к порно-сайтам.
Что происходит с нарушителями.
Пример входящего письма от команды по борьбе с веб-спамом:
Мы обнаружили, что страницы на вашем сайте, которые видят посетители, отличаются от тех, которые предоставляются роботу Google. Например, пользователи определенных браузеров, устройств или с IP-адресами в заданном диапазоне могут перенаправляться на другие страницы. Поскольку маскировка и скрытая переадресация являются нарушением рекомендаций Google для веб-мастеров, мы вручную приняли меры в отношении site.com для защиты от спама. К вашему сайту или его разделам также могут быть применены и другие меры.

Искусственные ссылки на ваш сайт.
Тут всё просто. Накупили ссылки с анкорами "купить колбаса киев" (см. определение платных ссылок), накрутили рейтинг сайту. Команда по борьбе с веб-спамом выкручивает рейтинг в обратную сторону до нуля. Снять быстрее можно только, если большую часть ссылок удалите (именно удалить), а какой-то неудаляемый процент покупных беклинков занесёте в список через Disavow Tool. Сказки про слоников и конкурентов, что накупили ссылок тут не помогут, не тратьте время.
Пример входящего письма от команды по борьбе с веб-спамом:
Обнаружены признаки искусственных ссылок, ведущих на страницы вашего сайта, которые вводят в заблуждение поисковых роботов и используются для манипулирования показателями. Это могло произойти, если вы покупаете ссылки, которые учитываются в системе PageRank, или участвуете в программах обмена ссылками.

Андрей Липатцев (Google):
 Отклонять ссылки с таких доменов, как alexa_com, siteestimate_ru, umxi3_mrslove.com или tehnolognn_narod_ru нет никакой необходимости. Не надо работать "от списка имеющихся ссылок". Так можно копать до бесконечности. Работайте от списка закупок. Добивайтесь от предыдущего оптимизатора или бирж, где они закупались, исчерпывающего списка. Кроме него, Вам ничего больше не нужно.

Искусственные ссылки с вашего сайта.
Меры за торговлю и обмен ссылками. Прикол в том, что эти меры характерны для буржунета. В рунете встречаются редко.
Пример входящего письма от команды по борьбе с веб-спамом:
На страницах вашего сайта обнаружены признаки искусственных исходящих ссылок, которые вводят в заблуждение поисковых роботов или используются для манипулирования показателями. Это могло произойти, если вы продаете ссылки, которые учитываются в PageRank, или участвуете в программах обмена ссылками.

Возможно, этот сайт был взломан.
Это либо дырки на сервере, либо в движке, либо человеческий фактор. Если сайт распространяет гадости (трояны и т.д.), становится спамным, то к нему применяются меры. От надписи в сниппете, до искоренения его из индекса. Возможные варианты: клоакинг, вап-клик, подмена кеша и тайтлов. Как убрать это сообщение с сайта.

Справка: Меры, принятые вручную.
Полезные ссылки:
Купить ссылки или Меры, принятые вручную.
Как связаться с техподдержкой веб-мастеров Google.

В каких случаях восстанавливаются позиции после ручных мер?
Санкции, они же меры, принятые вручную действуют по-разному. Во-первых, полностью на весь сайт или частично на некоторые страницы. Во-вторых, всё зависит от сайта. Если он ранжируется чисто по покупным ссылкам, то после мер за ссылки (см. выше), позиций не будет.
Андрей Липатцев (Google):
Вы полностью упустили из виду, что для "оптимизации" сайта кто-то занимался покупкой ссылок. Эффект этого допинга рано или поздно должен был прекратиться, что и произошло. На данный момент Ваш сайт ранжируется так, как и должен, без учёта покупных ссылок.
Если сайт ранжируется по многим показателям, и ссылочное у него - это не главный фактор, или много естественных ссылок, то просадка будет незначительной. Меры за спам, как правило, позиции не затрагивают (потому что ссылочное - главный фактор в Google, но необязательный). Но если сайт ранжировался за красивости, возраст и удобства, то позиций не будет после снятия мер.

Что такое ручные меры?

Как удалить страницу из индекса

Удаление страниц из индекса поисковиков (Яндекс и Google) - явление для владельца сайта обыденное. Сайт - динамичный "организм" контента, в котором часто что-то меняется, устаревает и обновляется. Чтобы не было в поисковом индексе свалки из ненужных ссылок, надо чётко представлять, какие средства поисковики дают для очистки выдачи от ненужного.

Удаление страниц в Яндексе
1. Запретить для сканирования и индексирования можно через robots.txt. Этого достаточно, чтобы ненужная страница исчезла из поиска.
User-agent: YandexBot
Disallow: /page.html
2. Запретить для сканирования и индексирования можно через параметр noindex для метатега robots.
<meta name="robots" content="noindex, follow"/>
3. На удалённой странице отдать код 404. Более нигде блокировать её не нужно.
4. Запросить удаление URL, если ничего из выше перечисленного не помогло, и страница до сих пор в выдаче поисковика.

Удаление страниц в Google
1. Как чистить мусор (robots.txt, метатег robots, канонические ссылки, 404)
2. Google поддерживает x-robots-tag. Применимо для удаления файлов (doc, pdf и т.д.) в результатах поиска.
3. Через Search Console в Удалить URL-адреса. Данный инструмент следует использовать осторожно и удалить только те страницы, которые содержат конфиденциальную информацию пользователей. Для остальных случаев использование инструмента может быть опасным.
См. статью "Как удалить или обновить устаревшую информацию в Google".

Как удалить страницу из индекса

Об удалении ссылок из файла Disavow

На Сёрче опубликована новость об активном обсуждении статьи "Google Traffic Soars After SEO Drops Links From Disavow File" и темы на форуме WebmasterWorld. Если верить переводу, то один зарубежный веб-мастер при редактировании файла Disavow случайно удалил ранее занесённые туда ссылки, что чуть позже привело к росту позиций и увеличению трафика из Google.
Получается, что многие из входящих ссылок, которые вебмастер отклонял через Disavow, способствовали повышению позиций сайта в выдаче Google. Вероятно, удаление файла привело к тому, что поисковик снова начал учитывать эти ссылки, и сайт получил импульс в ранжировании, что, в свою очередь, привело к увеличению объёма привлечённого трафика.
Собственно, в этом ничего удивительного нет. Ещё осенью поднимался вопрос о случаях, когда при ручных мерах впопыхах отклонялись все ссылки, а потом файл дорабатывался. Гуглеры из команды качества поиска отвечали, что да, такая корректировка может отразиться на общем состоянии сайта и что при ручных мерах отклонённые ссылки должны всегда оставаться в списке, если веб-мастер хочет, чтобы они "игнорировались" Гуглом (неоднократно говорилось на видео-встречах с вебмастерами ещё с 2013-ого года). Не факт, что обсуждения на WebmastersWorld касаются действительно подобного случая (всегда имеет место быть факт совпадения), но убирать ссылки из "дизавов" можно, и это известно давно, в этом заключается основное предназначение инструмента отклонения ссылок.
Открытым остаётся вопрос: следует ли вебмастеру снова отклонить эти ссылки через Disavow-файл во избежание проблем с «Пингвином»?
  • Согласно матчасти ранее отклонённые ссылки действительно должны поднять сайт. В особенности те, которые  потребовала отклонить команда по борьбе с веб-спамом. Именно потому и потребовала, что покупные ссылки искусственно поднимали сайт в результатах поиска.
  • Хронология событий. Согласно выше упомянутому случаю: 22 ноября были удалены домены, а 19 ноября сайт поднялся. Это может говорить только о том, что: а) сайт присекался не алгоритмами проверки качества, а ручными мерами, которые потребовали отклонения ссылок, б) с сайтом изначально всё было в порядке.
  • С 2014-го и уже в 2015 году команда по борьбе с веб-спамом требует не отклонения неестественных ссылок, а физического удаления их. Это очень важный момент.
  • Google постоянно усовершенствует алгоритм проверки качества сайтов (то, что называют Пингвин) и закладывает в него всё больше и больше примеров неестественных ссылок. Если сейчас вернуть ссылки из "дизавов", то возникнет риск попасть под Пингвин. Какая морока будет после знает всякий, кто с алгоритмом сталкивался.
  • Возвращать ссылки можно (и даже нужно, если есть подозрение, что при ручных мерах напихали всё подряд), но с умом. Даже раньше кто-то из блоггеров выдвигал идею переписывать такие "палевные" статьи и анкоры уже после отклонения, чтобы позже вернуть такую ссылку в свой ссылочный профиль.
  • Никогда не возвращать к жизни ссылки, которые команда по борьбе с веб-спамом присылала в примерах в Search Console.
  • Если всё сделать криво, то есть риск не только опингвиниться, но и попасть второй раз под ручные меры. Наказание будет долгим, ссылки заставят удалять.

Об удалении ссылок из файла Disavow

"Переход на этот веб-сайт может быть опасен для вашего компьютера" - такую заглушку в браузере Chrome вы можете увидеть при попытке открыть потенциально опасный сайт.

Переход на этот веб-сайт может быть опасен для вашего компьютера

При этом в сниппете сайта Google тоже пометит сайт вредоносным:

Этот сайт может нанести вред вашему компьютеру

Статус сайта и возможную причину блокировки можно посмотреть в обновлённом инструменте "Безопасный просмотр":

Проверить статус сайта
В Search Console в разделе Проблемы с безопасностью администратор сайта получит предупреждение "Обнаружено вредоносное ПО". Следует понимать, что технология SafeBrowsing работает автоматически, поэтому блокировки и сопровождающие их пометки в поиске ("Этот сайт может нанести вред вашему компьютеру"). будут происходить всякий раз, как Chrome зафиксирует подозрительные действия в браузерах пользователей.

Как запросить проверку на наличие вредоносного и нежелательного ПО.
Пометка "Этот сайт может нанести вред вашему компьютеру".
Firefox: Как работают встроенная Защита от Фишинга и Вредоносных программ?

Переход на этот веб-сайт может быть опасен для вашего компьютера

Nohacked

Если так получилось, что Google нашёл нежелательное или вредоносное ПО и пометил сайт (в Search Comsole, в сниппете, заглушкой в браузере Chrome), вы  должны послать запрос на проверку команде Safebrowsing, чтобы удалить это предупреждение. Статус сайта можно проверить на этой странице, и если Google ваш ресурс как опасный, он будет продолжать его считать таковым всё время (даже если удалите весь сайт), пока не получит запрос от веб-мастера. Не путать с блокированием загрузки файлов!

Безопасный просмотр статус сайта

Запрос на проверку вы должны послать из Search Console (раздел Проблемы безопасности).

раздел Проблемы безопасности

Насколько возможно, Google старается давать информацию по возникшим проблемам, ссылки и направление, в какую сторону копать. Однако не во всех случаях система располагает открытой информацией, поэтому можно увидеть и такое скудное предупреждение:

Запрос на проверку

Вредоносное  и нежелательное ПО
Начиная с середины июля 2015 года Google стал помечать сайты с неизвестным и непонятным софтом, как "нежелательное ПО" .  См. "Правила в отношении нежелательного ПО". На подавляющем большинстве сайтов, которые были отмечены "нежелательными", находились программы а-ля  браузерные тулбары, очистка реестра и т.д. с вшитыми рекламными партнёрками. Всё, что пользователю не нужно и портит работу на компьютере может быть помечено нежелательным ПО. Аналогично происходит и с вредоносным ПО. См. справочную статью.

Два инструмента в помощь веб-мастеру:

Чтобы запросить проверку, вам нужно нажать на красную кнопку "Запрос на проверку":

Запрос на проверку вредоносное по

Запрос на проверку

В поле для текста нужно указать кратко, как была устранена уязвимость. Например: я нашел и удалил перенаправление в файле .htaccess.

После отправки запроса убедитесь, что появилось системное сообщение об удачной отправке:


Рекомендуется использовать браузер Chrome (так как именно под него вообще затачивалась Search Console), так как в IE были неоднократно зафиксированы случаи сбоев интерфейса отправки запросов.

Процесс рассмотрения запросов автоматизирован, в среднем занимает 10-12 часов, в более сложных случаях 24 часа, возможно и больше. Результат проверяется только через Search Console, никаких других способов связи с командой SafeBrowsing не существует.

Сообщение "Возможно, этот сайт был взломан"
Сообщение приходит, если Google подозревает, что сайт взломан и при этом резко неадекватно ведёт себя в выдаче. Если Google установил взлом не алгоритмически, а вручную, то на сайт накладываются Меры, принятые вручную и найти их можно в Search Console, соответствующем разделе. См. справочную статью.

Возможно, этот сайт был взломан

Сообщение также может присутствовать в разделе Проблемы безопасности:

Сообщение о взломе в разделе Безопасность

После того, как все уязвимости и вредоносные коды удалены, можно ускорить процесс пересканирования сайта:
  • Воспользоваться функцией Посмотреть как Googlebot и отправить на индексацию проблемные страницы.
  • Загрузить sitemap проблемных страниц (можно RSS или Atom фид).
  • Если вы удалили какие-либо файлы или страницы, убедитесь, что они отдают 404 и не закрыты в robots.txt

Полезные ссылки:
Советы веб-мастерам: восстановление сайтов
Акция #NoHacked
Как восстановить взломанный сайт

Оригинал.

Как запросить проверку на наличие вредоносного и нежелательного ПО

Каждый поисковик веб-мастерам предоставляет специальную панель для мониторинга состояния сайта. Данная панель позволяет получать более-менее точную статистику по посещениям сайта из поиска и решать мелкие проблемы с видимостью сайта в поисковиках.

Добавить сайт в вебмастер Яндекс
Ссылка webmaster.yandex.ru

Вебмастер Яндекса

Основные действия:
Помощь вебмастеру от Яндекса.
Обучающий курс для вебмастеров от Яндекса.
Api Вебмастера.

Добавить сайт в вебмастер Гугл (Webmaster Tools, Search Console)
Ссылка webmaster.google.com (https://www.google.com/webmasters/)

Добавить сайт в вебмастер Гугл

Основные действия:
  • добавить сайт два раза (с www и без)
  • добавить sitemap
  • определить основной домен
  • настроить таргетинг по странам и языкам
  • проверить мобильную версию сайта
  • проверить robots.txt
  • посмотреть на сайт как Googlebot
  • посмотреть Меры, принятые вручную
  • настроить связь с Analytics
  • отклонить некачественные ссылки через Disavow Tool
  • проверить микроразметку
Справка Search Console.
Академия для веб-мастеров от Google.
Search Console Api.

Добавить сайт в вебмастер Mail.ru (Кабинет вебмастера)
Ссылка webmaster.mail.ru

Добавить сайт в вебмастер Mail.ru

Основные действия:
  • добавить sitemap
  • добавить сайтлинки
  • добавить адрес и телефон предприятия
  • проверить robots.txt
  • запросить переиндексацию (в случае необходимости)
Помощь Кабинет вебмастера от Mail.ru

Доля трафика с Mail.ru может быть сопоставима с Яндексом:

Статистика поисковые системы

Добавить сайт в вебмастер Bing  (Bing веб-мастер)
Ссылка www.bing.com/webmaster

Добавить сайт в вебмастер Bing

Основные действия:
  • добавить sitemap
  • проверить микроразметку
  • посмотреть на сайт как бот Bing (Представление Bingbot)
  • указать данные об организации в Bing Places
  • настроить геотаргетинг
  • связать сайт с приложением для Windows Phone
  • отказаться от некачественных внешних ссылок через инструмент Отказаться от ссылок (аналог Disavow Tool от Google)
  • связать сайт с соцсетями через инструмент Связанные страницы
Bing Webmaster Help & How-To Center
Api-интерфейсы Bing.

Дополнительно:
Добавить сайт в Спутник.
Добавить сайт в Nigma.

Добавить сайт в вебмастер Google, Yandex, Mail.ru и Bing