Как поступает Google с страницами с кодами 404 и 410

Мэтт Каттс объяснил, что для поискового Google-бота между кодами состояния HTTP 404 и 410, свидетельствующими о недоступности страницы, есть разница, и объяснил, в чем эта разница, и как Гуглбот обрабатывает в выдаче страницы с такими ошибками.

Код состояния http-сервера 404 (Not Found) означает, что запрошенный URL не соответствует ни одной интернет-странице, нет такого адреса в Интернет. Но код 404 не объясняет, существует «дом», или еще не построили, или уже снесли. Ошибку 404 Гуглбот понимает так: либо адрес существует, но ссылка неверная, либо ссылка верная, но страница удалена. В случае с кодом 404 Гуглбот надеется, что в будущем такая ссылка окажется рабочей и спустя время он снова к ней обращается.

Код 410 (Gone) означает, что запрашиваемый URL был, жил, работал, умер, его удалили с http-сервера, удалили навсегда.

У страницы с ошибкой 404 есть 24 часа, чтобы «ожить». В течение суток поисковый робот будет время от времени проверять ее, и если ничего не изменится, наградит страницу меткой «удалена». А вот у страниц с кодом 410 шансов нет, в результатах выдачи они сразу попадают в разряд уничтоженных.

Мэтт Каттс советует веб-мастерам использовать код ответа сервера 404 для временно удаленных страниц, которые в будущем можно будет чем-то заменить, а код 410 применять только в том случае, если есть полная уверенность, что страница больше никогда не появится.