Удаление страниц из индекса поисковиков (Яндекс и Google) - явление для владельца сайта обыденное. Сайт - динамичный "организм" контента, в котором часто что-то меняется, устаревает и обновляется. Чтобы не было в поисковом индексе свалки из ненужных ссылок, надо чётко представлять, какие средства поисковики дают для очистки выдачи от ненужного.

Удаление страниц в Яндексе
1. Запретить для сканирования и индексирования можно через robots.txt. Этого достаточно, чтобы ненужная страница исчезла из поиска.

User-agent: YandexBot
Disallow: /page.html

2. Запретить для сканирования и индексирования можно через параметр noindex для метатега robots.
<meta name="robots" content="noindex, follow"/>
3. На удалённой странице отдать код 404. Более нигде блокировать её не нужно.
4. Запросить удаление URL, если ничего из выше перечисленного не помогло, и страница до сих пор в выдаче поисковика.

Удаление страниц в Google
1. Как чистить мусор (robots.txt, метатег robots, канонические ссылки, 404)
2. Google поддерживает x-robots-tag. Применимо для удаления файлов (doc, pdf и т.д.) в результатах поиска.
3. Через Search Console в Удалить URL-адреса. Данный инструмент следует использовать осторожно и удалить только те страницы, которые содержат конфиденциальную информацию пользователей. Для остальных случаев использование инструмента может быть опасным.
См. статью "Как удалить или обновить устаревшую информацию в Google".

На Сёрче опубликована новость об активном обсуждении статьи "Google Traffic Soars After SEO Drops Links From Disavow File" и темы на форуме WebmasterWorld. Если верить переводу, то один зарубежный веб-мастер при редактировании файла Disavow случайно удалил ранее занесённые туда ссылки, что чуть позже привело к росту позиций и увеличению трафика из Google.

Получается, что многие из входящих ссылок, которые вебмастер отклонял через Disavow, способствовали повышению позиций сайта в выдаче Google. Вероятно, удаление файла привело к тому, что поисковик снова начал учитывать эти ссылки, и сайт получил импульс в ранжировании, что, в свою очередь, привело к увеличению объёма привлечённого трафика.

Собственно, в этом ничего удивительного нет. Ещё осенью поднимался вопрос о случаях, когда при ручных мерах впопыхах отклонялись все ссылки, а потом файл дорабатывался. Гуглеры из команды качества поиска отвечали, что да, такая корректировка может отразиться на общем состоянии сайта и что при ручных мерах отклонённые ссылки должны всегда оставаться в списке, если веб-мастер хочет, чтобы они "игнорировались" Гуглом (неоднократно говорилось на видео-встречах с вебмастерами ещё с 2013-ого года). Не факт, что обсуждения на WebmastersWorld касаются действительно подобного случая (всегда имеет место быть факт совпадения), но убирать ссылки из "дизавов" можно, и это известно давно, в этом заключается основное предназначение инструмента отклонения ссылок.

Открытым остаётся вопрос: следует ли вебмастеру снова отклонить эти ссылки через Disavow-файл во избежание проблем с «Пингвином»?

• Согласно матчасти ранее отклонённые ссылки действительно должны поднять сайт. В особенности те, которые  потребовала отклонить команда по борьбе с веб-спамом. Именно потому и потребовала, что покупные ссылки искусственно поднимали сайт в результатах поиска.
• Хронология событий. Согласно выше упомянутому случаю: 22 ноября были удалены домены, а 19 ноября сайт поднялся. Это может говорить только о том, что: а) сайт присекался не алгоритмами проверки качества, а ручными мерами, которые потребовали отклонения ссылок, б) с сайтом изначально всё было в порядке.
• С 2014-го и уже в 2015 году команда по борьбе с веб-спамом требует не отклонения неестественных ссылок, а физического удаления их. Это очень важный момент.
• Google постоянно усовершенствует алгоритм проверки качества сайтов (то, что называют Пингвин) и закладывает в него всё больше и больше примеров неестественных ссылок. Если сейчас вернуть ссылки из "дизавов", то возникнет риск попасть под Пингвин. Какая морока будет после знает всякий, кто с алгоритмом сталкивался.
• Возвращать ссылки можно (и даже нужно, если есть подозрение, что при ручных мерах напихали всё подряд), но с умом. Даже раньше кто-то из блоггеров выдвигал идею переписывать такие "палевные" статьи и анкоры уже после отклонения, чтобы позже вернуть такую ссылку в свой ссылочный профиль.
• Никогда не возвращать к жизни ссылки, которые команда по борьбе с веб-спамом присылала в примерах в Search Console.
• Если всё сделать криво, то есть риск не только опингвиниться, но и попасть второй раз под ручные меры. Наказание будет долгим, ссылки заставят удалять.

"Переход на этот веб-сайт может быть опасен для вашего компьютера" - такую заглушку в браузере Chrome вы можете увидеть при попытке открыть потенциально опасный сайт.


При этом в сниппете сайта Google тоже пометит сайт вредоносным:


Статус сайта и возможную причину блокировки можно посмотреть в обновлённом инструменте "Безопасный просмотр":

В Search Console в разделе Проблемы с безопасностью администратор сайта получит предупреждение "Обнаружено вредоносное ПО". Следует понимать, что технология SafeBrowsing работает автоматически, поэтому блокировки и сопровождающие их пометки в поиске ("Этот сайт может нанести вред вашему компьютеру"). будут происходить всякий раз, как Chrome зафиксирует подозрительные действия в браузерах пользователей.

Как запросить проверку на наличие вредоносного и нежелательного ПО.
Пометка "Этот сайт может нанести вред вашему компьютеру".
Firefox: Как работают встроенная Защита от Фишинга и Вредоносных программ?

Если так получилось, что Google нашёл нежелательное или вредоносное ПО и пометил сайт (в Search Comsole, в сниппете, заглушкой в браузере Chrome), вы должны послать запрос на проверку команде Safebrowsing, чтобы удалить это предупреждение. Статус сайта можно проверить на этой странице, и если Google ваш ресурс как опасный, он будет продолжать его считать таковым всё время (даже если удалите весь сайт), пока не получит запрос от веб-мастера. Не путать с блокированием загрузки файлов!

Запрос на проверку вы должны послать из Search Console (раздел Проблемы безопасности).

Насколько возможно, Google старается давать информацию по возникшим проблемам, ссылки и направление, в какую сторону копать. Однако не во всех случаях система располагает открытой информацией, поэтому можно увидеть и такое скудное предупреждение:

Вредоносное и нежелательное ПО
Начиная с середины июля 2015 года Google стал помечать сайты с неизвестным и непонятным софтом, как "нежелательное ПО" .  См. "Правила в отношении нежелательного ПО". На подавляющем большинстве сайтов, которые были отмечены "нежелательными", находились программы а-ля  браузерные тулбары, очистка реестра и т.д. с вшитыми рекламными партнёрками. Всё, что пользователю не нужно и портит работу на компьютере может быть помечено нежелательным ПО. Аналогично происходит и с вредоносным ПО. См. справочную статью.

Два инструмента в помощь веб-мастеру:

• Проверить url на пометку вредоностности от Google
• Сканер на скрипты, редиректы, malware
• Сканер для блогов (Blogger)

Чтобы запросить проверку, вам нужно нажать на красную кнопку "Запрос на проверку":

В поле для текста нужно указать кратко, как была устранена уязвимость. Например: я нашел и удалил перенаправление в файле .htaccess.

После отправки запроса убедитесь, что появилось системное сообщение об удачной отправке:

Рекомендуется использовать браузер Chrome (так как именно под него вообще затачивалась Search Console), так как в IE были неоднократно зафиксированы случаи сбоев интерфейса отправки запросов.

Процесс рассмотрения запросов автоматизирован, в среднем занимает 10-12 часов, в более сложных случаях 24 часа, возможно и больше. Результат проверяется только через Search Console, никаких других способов связи с командой SafeBrowsing не существует.

Сообщение "Возможно, этот сайт был взломан"
Сообщение приходит, если Google подозревает, что сайт взломан и при этом резко неадекватно ведёт себя в выдаче. Если Google установил взлом не алгоритмически, а вручную, то на сайт накладываются Меры, принятые вручную и найти их можно в Search Console, соответствующем разделе. См. справочную статью.

Сообщение также может присутствовать в разделе Проблемы безопасности:
После того, как все уязвимости и вредоносные коды удалены, можно ускорить процесс пересканирования сайта:

• Воспользоваться функцией Посмотреть как Googlebot и отправить на индексацию проблемные страницы.
• Загрузить sitemap проблемных страниц (можно RSS или Atom фид).
• Если вы удалили какие-либо файлы или страницы, убедитесь, что они отдают 404 и не закрыты в robots.txt

Полезные ссылки:
Советы веб-мастерам: восстановление сайтов
Акция #NoHacked
Как восстановить взломанный сайт

Оригинал.

Каждый поисковик веб-мастерам предоставляет специальную панель для мониторинга состояния сайта. Данная панель позволяет получать более-менее точную статистику по посещениям сайта из поиска и решать мелкие проблемы с видимостью сайта в поисковиках.

Добавить сайт в вебмастер Яндекс
Ссылка webmaster.yandex.ru
Основные действия:

• добавить sitemap
• определить регион
• добавить организацию
• определить главное зеркало
• проверить мобильную версию сайта
• проверить robots.txt
• посмотреть Нарушения

Помощь вебмастеру от Яндекса.
Обучающий курс для вебмастеров от Яндекса.
Api Вебмастера.

Добавить сайт в вебмастер Гугл (Webmaster Tools, Search Console)
Ссылка search.google.com:
Основные действия:

• добавить сайт два раза (с www и без)
• добавить sitemap
• определить основной домен
• настроить таргетинг по странам и языкам
• проверить мобильную версию сайта
• проверить robots.txt
• посмотреть на сайт как Googlebot
• посмотреть Меры, принятые вручную
• настроить связь с Analytics
• отклонить некачественные ссылки через Disavow Tool
• проверить микроразметку

Справка Search Console.
Академия для веб-мастеров от Google.
Search Console Api.

Добавить сайт в вебмастер Mail.ru (Кабинет вебмастера)
Ссылка webmaster.mail.ru
Основные действия:

• добавить sitemap
• добавить сайтлинки
• добавить адрес и телефон предприятия
• проверить robots.txt
• запросить переиндексацию (в случае необходимости)

Помощь Кабинет вебмастера от Mail.ru

Доля трафика с Mail.ru может быть сопоставима с Яндексом:

Добавить сайт в вебмастер Bing (Bing веб-мастер)
Ссылка www.bing.com/webmaster
Основные действия:

• добавить sitemap
• проверить микроразметку
• посмотреть на сайт как бот Bing (Представление Bingbot)
• указать данные об организации в Bing Places
• настроить геотаргетинг
• связать сайт с приложением для Windows Phone
• отказаться от некачественных внешних ссылок через инструмент Отказаться от ссылок (аналог Disavow Tool от Google)
• связать сайт с соцсетями через инструмент Связанные страницы

Bing Webmaster Help & How-To Center
Api-интерфейсы Bing.

Дополнительно:
Добавить сайт в Спутник.
Добавить сайт в Nigma.

Ситуация самая обыденная - купили домен, а сомнения терзают: под санкциями или нет. Вообще перед покупкой домена следует озадачиться, что за сайт висел на этом домене. В этом помогут:

• поиск поиск операторами в Яндекс и Google
• поиск в веб-архиве archive.org (визуально определить кач-во сайта)
• проверка ссылочного домена через linkpad.ru и ahrefs.com (для опингвиненных доменов)
• поиск в базе Lumen lumendatabase.org (для доменов с "абузами", т.е. с нарушениями авторских прав )
• проверить на бан в Adsense

Не надо покупать: домены от онлайн-кинотеатров, казино, порно-сайтов, млм-сайтов и т.д. Любой домен от гс - это уже проблема, учитывая, что в Google есть баг под шутливым названием "неснимаемый пингвин". Б/у домен - это проблема, особенно если на нём годами висели ручные меры. Многие веб-мастера бросают домены даже после снятия ручных мер не просто так.

После покупки домена надо добавить сайт в Google Search Console, обязательно обе версии сайта с www и без (пример: site.ru и www.site.ru) и в течение недели в обеих версиях ждать сообщения в разделе Меры, принятые вручную. Если сообщение придёт, к примеру, на домене повисли меры "Агрессивный спам", в запросе на повторную проверку следует указать, что домен старый, сменился владелец, сайт новый.

Что касается Яндекса, то нужно отписать техподдержке с той же краткой формулировкой о новом сайте и новом владельце домена. В новой версии Вебмастера уже есть раздел Нарушения. Что там можно увидеть, можете прочитать здесь.

Кнопка "Я всё исправил" видимо действует точно так же, как и "Запрос на повторную проверку".