У меня есть следующий robots.txtrobots.txt: Сайт еще не отображается в Google
User-Agent: *
Disallow:
User-Agent: Googlebot
Allow:/
запретить всем роботам, кроме Google. Я сделал это изменение на прошлой неделе, и когда я ищу свое доменное имя в Google, я все равно получаю A description for this result is not available because of this site's robots.txt. Я делаю что-то неправильно? Как часто Google изменяет домен
Ваш robots.txt не делает то, что вы хотите (но это не связано с проблемой, о которой вы говорите).
Если вы хотите запретить сканирование для каждого бота, кроме "Googlebot", который вы хотите использовать этот файл robots.txt:
User-agent: googlebot
Disallow:
User-agent: *
Disallow:/
Disallow: / означает: запретить все URL
Disallow: означает: не отвергать ничего (то есть, позвольте все)
К вашему вопросу: нет определенного ответа на вопрос, как часто Google сканирует. Это зависит от разных, для нас невычислимых, факторов. Придется ждать неделю или две, это не редкость.