Googlebot не может получить доступ к моему WordPress robots.txt

Question

У меня есть некоторые проблемы с индексацией Google на моем сайте WordPress. Когда я добавил свой сайт в Google Веб-мастер .htaccess был следующий

<IfModule mod_rewrite.c> 
RewriteEngine On 
RewriteBase/
RewriteRule ^index\.php$ - [L] 
RewriteCond %{REQUEST_FILENAME} !-f 
RewriteCond %{REQUEST_FILENAME} !-d 
RewriteRule . /index.php [L] 
</IfModule> 

Теперь, я пытался добавить эти строки в .htaccess файл, но Google все еще не индексируются мой сайт.

# BOT SETTINGS 
SetEnvIfNoCase User-Agent .*google.* search_robot 
SetEnvIfNoCase User-Agent .*yahoo.* search_robot 
SetEnvIfNoCase User-Agent .*bot.* search_robot 
SetEnvIfNoCase User-Agent .*ask.* search_robot 

Order Deny,Allow 
#Deny from All 
Allow from env=search_robot 

Где я делаю неправильно?

Answer 1

Создайте файл robots.txt и загрузите корневую папку wordpress с помощью следующего кода.

User-agent: google 
Disallow: 

User-agent: yahoo 
Disallow: 

User-agent: bot 
Disallow: 

User-agent: ask 
Disallow: 

User-agent: * 
Disallow:/

И попробуйте удалить #BOT SETTING в вашем .htaccess.