Как удалить страницу из индекса

Удаление страниц из индекса поисковиков (Яндекс и Google) - явление для владельца сайта обыденное. Сайт - динамичный "организм" контента, в котором часто что-то меняется, устаревает и обновляется. Чтобы не было в поисковом индексе свалки из ненужных ссылок, надо чётко представлять, какие средства поисковики дают для очистки выдачи от ненужного.

Удаление страниц в Яндексе
1. Запретить для сканирования и индексирования можно через robots.txt. Этого достаточно, чтобы ненужная страница исчезла из поиска.
User-agent: YandexBot
Disallow: /page.html
2. Запретить для сканирования и индексирования можно через параметр noindex для метатега robots.
<meta name="robots" content="noindex, follow"/>
3. На удалённой странице отдать код 404. Более нигде блокировать её не нужно.
4. Запросить удаление URL, если ничего из выше перечисленного не помогло, и страница до сих пор в выдаче поисковика.

Удаление страниц в Google
1. Как чистить мусор (robots.txt, метатег robots, канонические ссылки, 404)
2. Google поддерживает x-robots-tag. Применимо для удаления файлов (doc, pdf и т.д.) в результатах поиска.
3. Через Search Console в Удалить URL-адреса. Данный инструмент следует использовать осторожно и удалить только те страницы, которые содержат конфиденциальную информацию пользователей. Для остальных случаев использование инструмента может быть опасным.
См. статью "Как удалить или обновить устаревшую информацию в Google".

Как удалить страницу из индекса

Об удалении ссылок из файла Disavow

На Сёрче опубликована новость об активном обсуждении статьи "Google Traffic Soars After SEO Drops Links From Disavow File" и темы на форуме WebmasterWorld. Если верить переводу, то один зарубежный веб-мастер при редактировании файла Disavow случайно удалил ранее занесённые туда ссылки, что чуть позже привело к росту позиций и увеличению трафика из Google.
Получается, что многие из входящих ссылок, которые вебмастер отклонял через Disavow, способствовали повышению позиций сайта в выдаче Google. Вероятно, удаление файла привело к тому, что поисковик снова начал учитывать эти ссылки, и сайт получил импульс в ранжировании, что, в свою очередь, привело к увеличению объёма привлечённого трафика.
Собственно, в этом ничего удивительного нет. Ещё осенью поднимался вопрос о случаях, когда при ручных мерах впопыхах отклонялись все ссылки, а потом файл дорабатывался. Гуглеры из команды качества поиска отвечали, что да, такая корректировка может отразиться на общем состоянии сайта и что при ручных мерах отклонённые ссылки должны всегда оставаться в списке, если веб-мастер хочет, чтобы они "игнорировались" Гуглом (неоднократно говорилось на видео-встречах с вебмастерами ещё с 2013-ого года). Не факт, что обсуждения на WebmastersWorld касаются действительно подобного случая (всегда имеет место быть факт совпадения), но убирать ссылки из "дизавов" можно, и это известно давно, в этом заключается основное предназначение инструмента отклонения ссылок.
Открытым остаётся вопрос: следует ли вебмастеру снова отклонить эти ссылки через Disavow-файл во избежание проблем с «Пингвином»?
  • Согласно матчасти ранее отклонённые ссылки действительно должны поднять сайт. В особенности те, которые  потребовала отклонить команда по борьбе с веб-спамом. Именно потому и потребовала, что покупные ссылки искусственно поднимали сайт в результатах поиска.
  • Хронология событий. Согласно выше упомянутому случаю: 22 ноября были удалены домены, а 19 ноября сайт поднялся. Это может говорить только о том, что: а) сайт присекался не алгоритмами проверки качества, а ручными мерами, которые потребовали отклонения ссылок, б) с сайтом изначально всё было в порядке.
  • С 2014-го и уже в 2015 году команда по борьбе с веб-спамом требует не отклонения неестественных ссылок, а физического удаления их. Это очень важный момент.
  • Google постоянно усовершенствует алгоритм проверки качества сайтов (то, что называют Пингвин) и закладывает в него всё больше и больше примеров неестественных ссылок. Если сейчас вернуть ссылки из "дизавов", то возникнет риск попасть под Пингвин. Какая морока будет после знает всякий, кто с алгоритмом сталкивался.
  • Возвращать ссылки можно (и даже нужно, если есть подозрение, что при ручных мерах напихали всё подряд), но с умом. Даже раньше кто-то из блоггеров выдвигал идею переписывать такие "палевные" статьи и анкоры уже после отклонения, чтобы позже вернуть такую ссылку в свой ссылочный профиль.
  • Никогда не возвращать к жизни ссылки, которые команда по борьбе с веб-спамом присылала в примерах в Search Console.
  • Если всё сделать криво, то есть риск не только опингвиниться, но и попасть второй раз под ручные меры. Наказание будет долгим, ссылки заставят удалять.

Об удалении ссылок из файла Disavow

"Переход на этот веб-сайт может быть опасен для вашего компьютера" - такую заглушку в браузере Chrome вы можете увидеть при попытке открыть потенциально опасный сайт.

Переход на этот веб-сайт может быть опасен для вашего компьютера

При этом в сниппете сайта Google тоже пометит сайт вредоносным:

Этот сайт может нанести вред вашему компьютеру

Статус сайта и возможную причину блокировки можно посмотреть в обновлённом инструменте "Безопасный просмотр":

Проверить статус сайта
В Search Console в разделе Проблемы с безопасностью администратор сайта получит предупреждение "Обнаружено вредоносное ПО". Следует понимать, что технология SafeBrowsing работает автоматически, поэтому блокировки и сопровождающие их пометки в поиске ("Этот сайт может нанести вред вашему компьютеру"). будут происходить всякий раз, как Chrome зафиксирует подозрительные действия в браузерах пользователей.

Как запросить проверку на наличие вредоносного и нежелательного ПО.
Пометка "Этот сайт может нанести вред вашему компьютеру".
Firefox: Как работают встроенная Защита от Фишинга и Вредоносных программ?

Переход на этот веб-сайт может быть опасен для вашего компьютера

Как запросить проверку на наличие вредоносного ПО

Если так получилось, что Google нашёл нежелательное или вредоносное ПО и пометил сайт (в Search Comsole, в сниппете, заглушкой в браузере Chrome), вы должны послать запрос на проверку команде Safebrowsing, чтобы удалить это предупреждение. Статус сайта можно проверить на этой странице, и если Google ваш ресурс как опасный, он будет продолжать его считать таковым всё время (даже если удалите весь сайт), пока не получит запрос от веб-мастера. Не путать с блокированием загрузки файлов!
Как запросить проверку на наличие вредоносного ПО

Запрос на проверку вы должны послать из Search Console (раздел Проблемы безопасности).
Как запросить проверку на наличие вредоносного ПО

Насколько возможно, Google старается давать информацию по возникшим проблемам, ссылки и направление, в какую сторону копать. Однако не во всех случаях система располагает открытой информацией, поэтому можно увидеть и такое скудное предупреждение:
Как запросить проверку на наличие вредоносного ПО

Вредоносное и нежелательное ПО
Начиная с середины июля 2015 года Google стал помечать сайты с неизвестным и непонятным софтом, как "нежелательное ПО" .  См. "Правила в отношении нежелательного ПО". На подавляющем большинстве сайтов, которые были отмечены "нежелательными", находились программы а-ля  браузерные тулбары, очистка реестра и т.д. с вшитыми рекламными партнёрками. Всё, что пользователю не нужно и портит работу на компьютере может быть помечено нежелательным ПО. Аналогично происходит и с вредоносным ПО. См. справочную статью.

Два инструмента в помощь веб-мастеру:

Чтобы запросить проверку, вам нужно нажать на красную кнопку "Запрос на проверку":
Запрос на проверку вредоносное по
Запрос на проверку вредоносное по

В поле для текста нужно указать кратко, как была устранена уязвимость. Например: я нашел и удалил перенаправление в файле .htaccess.

После отправки запроса убедитесь, что появилось системное сообщение об удачной отправке:
Как запросить проверку на наличие вредоносного ПО

Рекомендуется использовать браузер Chrome (так как именно под него вообще затачивалась Search Console), так как в IE были неоднократно зафиксированы случаи сбоев интерфейса отправки запросов.

Процесс рассмотрения запросов автоматизирован, в среднем занимает 10-12 часов, в более сложных случаях 24 часа, возможно и больше. Результат проверяется только через Search Console, никаких других способов связи с командой SafeBrowsing не существует.

Сообщение "Возможно, этот сайт был взломан"
Сообщение приходит, если Google подозревает, что сайт взломан и при этом резко неадекватно ведёт себя в выдаче. Если Google установил взлом не алгоритмически, а вручную, то на сайт накладываются Меры, принятые вручную и найти их можно в Search Console, соответствующем разделе. См. справочную статью.
Как запросить проверку на наличие вредоносного ПО

Сообщение также может присутствовать в разделе Проблемы безопасности:
Как запросить проверку на наличие вредоносного ПО
После того, как все уязвимости и вредоносные коды удалены, можно ускорить процесс пересканирования сайта:
  • Воспользоваться функцией Посмотреть как Googlebot и отправить на индексацию проблемные страницы.
  • Загрузить sitemap проблемных страниц (можно RSS или Atom фид).
  • Если вы удалили какие-либо файлы или страницы, убедитесь, что они отдают 404 и не закрыты в robots.txt

Полезные ссылки:
Советы веб-мастерам: восстановление сайтов
Акция #NoHacked
Как восстановить взломанный сайт

Оригинал.

Как запросить проверку на наличие вредоносного и нежелательного ПО

Каждый поисковик веб-мастерам предоставляет специальную панель для мониторинга состояния сайта. Данная панель позволяет получать более-менее точную статистику по посещениям сайта из поиска и решать мелкие проблемы с видимостью сайта в поисковиках.

Добавить сайт в вебмастер Яндекс
Ссылка webmaster.yandex.ru

Вебмастер Яндекса

Основные действия:
Помощь вебмастеру от Яндекса.
Обучающий курс для вебмастеров от Яндекса.
Api Вебмастера.

Добавить сайт в вебмастер Гугл (Webmaster Tools, Search Console)
Ссылка webmaster.google.com (https://www.google.com/webmasters/)

Добавить сайт в вебмастер Гугл

Основные действия:
  • добавить сайт два раза (с www и без)
  • добавить sitemap
  • определить основной домен
  • настроить таргетинг по странам и языкам
  • проверить мобильную версию сайта
  • проверить robots.txt
  • посмотреть на сайт как Googlebot
  • посмотреть Меры, принятые вручную
  • настроить связь с Analytics
  • отклонить некачественные ссылки через Disavow Tool
  • проверить микроразметку
Справка Search Console.
Академия для веб-мастеров от Google.
Search Console Api.

Добавить сайт в вебмастер Mail.ru (Кабинет вебмастера)
Ссылка webmaster.mail.ru

Добавить сайт в вебмастер Mail.ru

Основные действия:
  • добавить sitemap
  • добавить сайтлинки
  • добавить адрес и телефон предприятия
  • проверить robots.txt
  • запросить переиндексацию (в случае необходимости)
Помощь Кабинет вебмастера от Mail.ru

Доля трафика с Mail.ru может быть сопоставима с Яндексом:

Статистика поисковые системы

Добавить сайт в вебмастер Bing  (Bing веб-мастер)
Ссылка www.bing.com/webmaster

Добавить сайт в вебмастер Bing

Основные действия:
  • добавить sitemap
  • проверить микроразметку
  • посмотреть на сайт как бот Bing (Представление Bingbot)
  • указать данные об организации в Bing Places
  • настроить геотаргетинг
  • связать сайт с приложением для Windows Phone
  • отказаться от некачественных внешних ссылок через инструмент Отказаться от ссылок (аналог Disavow Tool от Google)
  • связать сайт с соцсетями через инструмент Связанные страницы
Bing Webmaster Help & How-To Center
Api-интерфейсы Bing.

Дополнительно:
Добавить сайт в Спутник.
Добавить сайт в Nigma.

Добавить сайт в вебмастер Google, Yandex, Mail.ru и Bing

Ситуация самая обыденная - купили домен, а сомнения терзают: под санкциями или нет. Вообще перед покупкой домена следует озадачиться, что за сайт висел на этом домене. В этом помогут:
  • поиск поиск операторами в Яндекс и Google
  • поиск в веб-архиве archive.org (визуально определить кач-во сайта)
  • проверка ссылочного домена через linkpad.ru и ahrefs.com (для опингвиненных доменов)
  • поиск в базе Lumen lumendatabase.org (для доменов с "абузами", т.е. с нарушениями авторских прав )
  • проверить на бан в Adsense

Не надо покупать: домены от онлайн-кинотеатров, казино, порно-сайтов, млм-сайтов и т.д. Любой домен от гс - это уже проблема, учитывая, что в Google есть баг под шутливым названием "неснимаемый пингвин". Б/у домен - это проблема, особенно если на нём годами висели ручные меры. Многие веб-мастера бросают домены даже после снятия ручных мер не просто так.

После покупки домена надо добавить сайт в Google Search Console, обязательно обе версии сайта с www и без (пример: site.ru и www.site.ru) и в течение недели в обеих версиях ждать сообщения в разделе Меры, принятые вручную. Если сообщение придёт, к примеру, на домене повисли меры "Агрессивный спам", в запросе на повторную проверку следует указать, что домен старый, сменился владелец, сайт новый.

Как проверить б/у домен на санкции в Google

Что касается Яндекса, то нужно отписать техподдержке с той же краткой формулировкой о новом сайте и новом владельце домена. В новой версии Вебмастера уже есть раздел Нарушения. Что там можно увидеть, можете прочитать здесь.

Как проверить б/у домен на санкции в Яндекс

Кнопка "Я всё исправил" видимо действует точно так же, как и "Запрос на повторную проверку".

Как проверить б/у домен на санкции