Удаление страниц из индекса в SEO

Удалить файл с сервера мало: поисковик еще какое-то время может показывать страницу в выдаче. В сниппете будет старый заголовок, а по клику - ошибка. Это плохо и для людей, и для сайта.

Нужно явно сказать роботу, что страницу больше нельзя показывать в поиске. Способ зависит от того, существует ли адрес еще или уже нет.

Если адрес еще открывается, но в поиске он не нужен, оставляют страницу доступной для обхода и ставят запрет индексации:

<head>
	<meta name="robots" content="noindex">
</head>

Робот зайдет, увидит запрет и уберет страницу из выдачи. Человек по прямой ссылке ее пока откроет. Так удобно для корзины, кабинета, старых акций, которые еще не сняли с сайта.

Закрывать такую страницу в robots.txt нельзя. Если обход запрещен, робот не увидит noindex и страница может остаться в индексе.

Если страницы больше нет, сервер должен ответить 404 или 410. Код 404 значит «не найдено». Код 410 сильнее: «убрано намеренно и навсегда».

Пример на PHP:

<?php
	http_response_code(404);
	include '404.php';
?>

Если страница удалена навсегда и замены нет, можно отдать 410:

<?php
	http_response_code(410);
	include 'gone.php';
?>

Для Apache через .htaccess:

Redirect gone /old-promo/

Нельзя вместо удаления отправлять все старые адреса на главную с кодом 200 или мягким редиректом «для удобства». Робот увидит не тот контент и может решить, что это soft-404.

Если есть близкая живая страница вместо удаленной, лучше поставить постоянный редирект 301 на нее. Тогда пользователь и вес ссылок не пропадут.

RewriteEngine On
RewriteRule ^old-article/?$ /new-article/ [R=301,L]

В панелях Google Search Console и Яндекс Вебмастера есть инструменты удаления и запроса переобхода. Они ускоряют процесс, но не заменяют правильный ответ сервера или noindex. Без этого после очистки адрес может снова попасть в индекс.

Коротко:

страница жива, но не нужна в поиске - noindex
страницы нет - 404 или 410
есть замена - 301 на новый адрес
панели вебмастера только ускоряют, а не чинят настройку

Почему недостаточно просто удалить файл со сайта?

Как правильно убрать страницу из поиска, если адрес еще открывается?

Дана верстка страницы акции, которую больше нельзя показывать в поиске:

<head>
	<title>Старая акция</title>
</head>

Объясните, в чем ошибка и исправьте ее.

Дан код на PHP:

<?php
	include '404.php';
?>

Страницы больше нет. Объясните, в чем ошибка и исправьте ее.

Старую статью удалили, вместо нее есть новая по другому адресу. Что лучше сделать: 404, noindex или 301? Почему?