Google Gae: Недоступен robots.txt

Question

Я загрузил файл robots.txt в моем URL http://watchmariyaanmovieonline.appspot.com/robots.txt, но когда я использую веб-мастеров Google и не Fetch, как Google для моей домашней странице http://watchmariyaanmovieonline.appspot.com/ я получаю ошибку Недоступен robots.txt

Answer 1

У вашего robots.txt содержимого есть один пустой Disallow, из-за которого вы получаете эту ошибку.

User-agent: * 
Disallow: 
Disallow: /cgi-bin/ 
Sitemap: http://watchmariyaanmovieonline.appspot.com/sitemap.xml 

Update это:

User-agent: * 
Disallow: /cgi-bin/ 
Sitemap: http://watchmariyaanmovieonline.appspot.com/sitemap.xml 

И это должно работать нормально, дайте мне знать, если это помогает :)