Как я могу позволить ботам сканировать мой сайт и закрывать его для всех посетителей? Когда посетитель приходит на какой-либо URL-адрес из Google, он должен видеть регистрационную форму, а бот-бот должен видеть все. Могу ли я это сделать?Как разрешить ботов/искателей и только зарегистрированных пользователей в Wordpress?
Я нашел этот плагин: http://wordpress.org/plugins/registered-users-only/
Могу ли я теперь позволить Google Bot с помощью robots.txt и как?