Наверняка вы встречались с ситуацией, когда в индексе поисковой системы присутствуют несуществующие страницы. Это плохо влияет на продвижение в поисковой выдаче, поэтому важно своевременно их удалять.
Давайте рассмотрим случаи, в которых могут появляться такие страницы.
Ситуация 1: простое удаление страницы с сайта
Для успешного продвижения в поисковой выдаче важно поддерживать актуальное состояние контента на вашем сайте. Это значит, что нужно своевременно добавлять новую информацию, а также удалять или обновлять неактуальную.
Под контентом имеются в виду как сами страницы, статьи, так и вложенные в них файлы: изображения, документы и прочее.
Например, была создана акция с невероятной скидкой на какой-то товар. Этот товар закончился очень быстро, но вам продолжают поступать звонки или письма с просьбой приобрести его. В этом случае имеется смысл удалить эту страницу, так как продать этот товар вы уже не сможете, и, по сути, все эти заявки не несут никакой прибыли, а только отнимают время на их обработку. Или же можно настроить показ аналогичных товаров пользователю. Например, как здесь:
Либо показывать список аналогичных товаров – так вы вероятно заинтересуете клиента остаться на сайте и совершить целевое действие.
В случае удаления страницы она, а также изображения и прочие вложения, останутся в индексе поисковых систем.
Ссылка на несуществующую страницу может находиться в выдаче долгое время, в зависимости от апдейтов поисковых систем и частоты обхода роботами вашего сайта (краулинговый бюджет сайта).
Ситуация 2: смена url адреса страницы
Также в выдаче появляются ссылки на несуществующие страницы в случае изменения ее url адреса. Такое может возникнуть, например, при изменении доменного имени сайта. Также эта проблема часто возникает при смене раздела у статьи – допустим, робот обходил страницу, добавил ее в выдачу, а вы изменили ее адрес, но поисковая система знает старый адрес страницы и будет показывать ее. В этом случае необходимо настроить 301 редирект со старого адреса на новый, благодаря этому параметры старого адреса ссылки передаются новому адресу, и сохранится позиция в выдаче.
Либо можно реализовать показ подобных товаров, как в пункте выше.
Ситуация 3: ссылки с внешних ресурсов на несуществующую страницу
Алгоритм действий схож с предыдущим пунктом. Имеются в виду ссылки с ресурсов, не принадлежащих вам, на изменение которых вы не можете повлиять.
Допустим, кто-то поделился ссылкой о вашем товаре, оставляя отзыв на стороннем ресурсе. Но на вашем сайте этот товар закончился или у него изменился url адрес, и теперь продукция по этому адресу недоступна. В такой ситуации необходимо отслеживать внешние ссылки в вебмастере и настраивать соответствующие редиректы на актуальные страницы.
Ситуация 4: в индексе находятся страницы или документы, содержащие личные данные или конфиденциальную информацию
При индексации страниц или файлов, содержащих личные данные компании или пользователей, необходимо как можно скорее удалить их из поисковой выдачи. Способы удаления такой информации будут описаны в следующих пунктах статьи.
Далее изображения и документы будут называться страницами, так как они также имеют url адрес, например: site.ru/images/image1.png
Теперь проанализируем дальнейшие действия.
В ситуациях 1, 2, 3 пользователи могут перейти по такой ссылке, но, увидев страницу 404 ошибки, в большинстве случаев покинут сайт. Если же у вас интересная и информативная страница 404, пользователь может остаться на сайте, перейти на другие разделы и совершить необходимое целевое действие.
Поисковые системы могут самостоятельно находить и удалять несуществующие страницы, если выполнены соответствующие условия. Для этого требуется определенное время. Чтобы ускорить удаление из индекса, необходимо сообщить поисковым системам, что страницы не актуальны и их нужно удалить из выдачи. В вебмастерах существуют специальные инструменты, которые облегчат вам работу.
Удаление страницы из выдачи Яндекса
Например, в вебмастере Яндекса есть инструмент для удаления страниц из поиска – «Удалить url».
Но прежде чем им воспользоваться, нужно выполнить следующие действия:
- В файле robots.txt закрыть от индексации необходимые страницы или группы страниц. Либо использовать мета тег .
- Настроить ответ сервера с несуществующих страниц 404 – не найдена, 403 – доступ запрещен или 410 – удален.
После этого переходим в соответствующий раздел вебмастера и вводим адреса страниц, которые нужно удалить.
Важно: удаление страниц возможно с аккаунта с подтверждёнными правами на сайт в панели вебмастера.
В день вы можете добавить до 500 страниц в очередь на удаление. Также есть возможность удалять сразу группы страниц, к примеру, весь каталог или блог, а иногда и просто все страницы сайта. Для этого нужно выбрать пункт «По префиксу».
Обратите внимание, не нужно вводить полный путь. Дневной лимит – 20 префиксов. После отправки запроса на удаление вы можете отслеживать изменение статуса на странице: Инструменты → Удаление страниц из поиска.
Список статусов:
При обходе сайта робот Яндекса сначала обращается к файлу robots.txt, если он существует, а после этого к самим страницам сайта. Полный обход крупных сайтов может занять значительное время, поэтому для более быстрой индексации важных страниц нужно иметь правильно настроенный файл robots.txt.
Инструкция по удалению страниц от Яндекса.
Удаление страницы из выдачи Google
У Google этот инструмент называется «Удалить url адреса».
Не пугайтесь, что кнопка называется «Временно скрыть». С помощью сервиса вы можете заблокировать страницы в выдаче на срок до 90 дней, после этого они могут вновь появляться в поисковой выдаче.
После нажатия на кнопку «Временно скрыть» откроется окно, в котором нужно ввести адрес страницы для удаления.
- Адрес страницы должен относиться к принадлежащему вам ресурсу в search console.
- Для пункта 1 и 2 необходимо вводить полный url страницы, включая расширение (например, .php или .html).
- Анкорные ссылки типа #link нужно удалять из url.
- Из поиска удалятся все варианты страницы с протоколом http и https, а также url с префиксом www и без.
- Допустим у вас есть сайт – site.ru, для него адреса: http://site.ru, http://www.site.ru, https://site.ru, https://www.site.ru будут являться одинаковыми.
- Поддомены типа m. или amp. делают адреса не равнозначными, например: site.ru/catalog и m.site.ru/catalog будут являться разными адресами.
- Регистр символов в url имеет значение, то есть страницы site.ru/Catalog и site.ru/catalog являются разными адресами.
- В случае, если страница имеет дубли (одна и та же страница доступна по нескольким адресам), нужно отправить дополнительные запросы со всеми их адресами.
На выбор будет представлено 3 варианта удаления:
1. Удалить url из кэша и временно исключить его из поиска.
Страница и ее кэшированная копия полностью удаляется из выдачи на срок до 90 дней.
Под кэшированной версией имеется в виду сохраненная копия.
2. Удалить только из кэша.
Страница остается в выдаче, удаляется сохраненная копия страницы. После следующего сканирования появится новая кэшированная версия страницы.
3. Очистить кэш и временно скрыть все url, которые начинаются с...
Из выдачи удаляются все страницы и их сохраненные копии, начинающиеся с указанного вами префикса.
Например, если вы укажите catalog/ , удалятся страницы типа вида catalog/item1 , catalog/item2 , catalog/item3 и тд.
В случае если необходимо исключить сайт полностью, в пункте 3 не нужно указывать никакого пути, то есть оставить поле пустым.
Полное удаление из выдачи Google
Чтобы исключить страницу из выдачи навсегда, необходимо принять следующие меры:
- Удалить необходимый контент и убедиться, что отдается ответ сервера – 404 или 410.
- Запретить индексирование метатегом . Если же контент является изображением (например, файл имеет расширение .jpg или .png) или же документ (например, файл имеет расширение .pdf или .doc), нужно удалить этот файл с сервера.
- Заблокировать доступ к контенту, например, установить пароль (так поступают с админками сайтов).
Важно: использовать метатег, а не запрет в файле robots.txt, необходимо, так как robots.txt является лишь рекомендацией для Google.
Если информация находится на ресурсе, не принадлежащем вам
Можно обратиться к владельцу сайта с просьбой об удалении личных данных.
В случае отказа или отсутствия ответа от владельца можно воспользоваться специальными сервисами поисковых систем.
Для Google составить запрос на удаление личной информации можно тут.
У Яндекса нет возможности оставить запрос на удаление конфиденциальной информации. В разделе Яндекс.Помощь также ничего не сказано по поводу удаления своих данных из выдачи. На вопрос, как удалить такую информацию, служба поддержки дала следующий ответ:
Заключение
В алгоритме удаления неактуальной информации из поисковых систем есть как схожие моменты, так и расхождения, но в основном можно выделить следующее:
- закрыть от индексации страницы, которые необходимо удалить;
- настроить ответ сервера;
- воспользоваться сервисами вебмастеров поисковых систем.
К расхождениям можно отнести удаление сохранённых копий страниц – в сервисе Google есть возможность удалить их, у Яндекса такой функции нет, и сохраненные копии могут храниться долгое время.
Разница в восприятии файла robots.txt – для Google, в отличие от Яндекса, он не является приоритетным, а носит рекомендательный характер, поэтому стоит использовать метатег
Теперь вы знаете, как удалить неактуальный контент из поисковой выдачи, избежав бесконечного количества 404 страниц.
