страницы индексирования google за возрастной формой формы

Question

У меня есть форма ограничения по возрасту, которая требует заполнения, прежде чем пользователи смогут пройти. Он пишет файл cookie, и если пользователи его не заполнили, они всегда отправляются обратно в пользовательскую форму.

В инструментах для веб-мастеров он отображается только как индексирование 1 страницы - есть ли способ разрешить Google сканировать все страницы?

Answer 1

Большинство веб-сканеров НЕ знают, как отправлять бланки и хранить/пересылать куки. Что вы можете сделать, это проверить строку пользовательского агента HTTP-запроса и если она соответствует одной из известных строк пользовательского агента googlebot's, тогда не перенаправляйте ее обратно в возрастную форму.

Answer 2

В конце концов, это взяло мета-описание из старого списка DMOZ.

Следующий метатег заставляет сайт игнорировать запись DMOZ.