status code 503, кажется, лучший выбор здесь:
503 (Service Unavailable) код состояния указывает на то, что сервер в настоящее время не может обработать запрос из-за временной перегрузки или планового обслуживания, которое, вероятно, будет смягчено после некоторой задержки.
Не должно быть релевантно, что это не связано с перегрузкой или обслуживанием в вашем случае. Важно то, что это ваша ошибка (отсюда код состояния от класса 5xx) и что он временный (следовательно, 503), поэтому нет необходимости сообщать им настоящую причину.
Хотя 503 обычно используется для всего сайта, я не вижу причин, по которым его нельзя использовать только для определенных страниц. Возможный недостаток: если бот последовательно сканирует несколько документов, которые дают 503, может показаться, что весь сайт затронут и прекратить сканирование на данный момент.
Если вы знаете, когда страница снова будет доступен, вы можете отправить Retry-After header:
При отправке с (Недоступен Service) ответ 503, Retry-After показывает, как долго службы, как ожидается, будет недоступен для клиента.
(. FWIW, то Googlebot seems to support this)
В пост Website outages and blackouts the right way (сотрудником Google в то время), мои предположения подтвердятся, насколько Google Search обеспокоен: 503 также должен быть используется только для определенных страниц; может сказываться скорость сканирования, если Googlebot получает много ответов 503.
Спасибо за ваш ответ unor! Поскольку это чрезвычайно рискованно, мне нужна официальная цитата из Google, это не повлияет на остальную часть сайта, прежде чем использовать его (и принять ответ). Благодаря! – gdoron
@gdoron: Какой риск вы имеете в виду? – unor
Заставить Google думать, что весь наш сайт не работает, и заставить их удалить нас из своего индекса. Я хочу убедиться, что они понимают, что это только эти страницы. – gdoron