Описания результата поиска Google не доступен из-за robots.text

Question

Я пытался найти мой сайт в Google «DailyMuses» и получил следующий результат

Он говорит, что «описание этого результата не доступен из-за robots.txt этого сайта»

я пошел, чтобы проверить содержимое robot.text в моем веб-приложение, и содержимое выглядит следующим образом:

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file 
# 
# To ban all spiders from the entire site uncomment the next two lines: 
User-Agent: * 
Disallow:/

Может ли кто-нибудь посоветовать мне, как я могу обойти это и разрешить описание, которое будет отображаться в поиске Google?

Answer 1

Удалить robots.txt. Готово .

UPDATE: Для того, чтобы позволить поисковой ползать только индексную страницу, используйте:

User-agent: * 
Allow: /index.php 
Allow: /$ 
Disallow:/

или заменить index.php с именем файла индекса, такие как index.html или index.jsp