Файл robots.txt, вероятно, недействителен

Question

это мой robots.txt. Я хочу разрешить базовый url domain.com для индексирования и запретить все подсайты, такие как domain.com/foo и domain.com/bar.html.

User-agent: * 
Disallow: /*/ 

Потому что я не уверен, является ли это допустимым синтаксисом, который я тестировал с помощью Инструментов Google для веб-мастеров. Это показывает мне это сообщение.

robots.txt file is probably invalid. 

Действительно ли мой файл действителен? Есть ли лучший способ разрешить базовый url для индексирования?

Обновление: Google загрузил мой robots.txt 4 часа назад. Я думаю, именно поэтому это не сработает. Я буду ждать некоторое время, и если проблема останется, я снова обновлю свой вопрос.

Answer 1

Вот ссылка на валидатор. Это может помочь вам справиться с любыми ошибками в файле.

Robots.txt Checker

Я проверил на другом валидатор, robots.txt Checker, и это то, что я получил во второй строке:

подстановочных символов (например, «*») здесь не разрешены Строка ниже должен быть разрешающим, запретить, комментарий или пустая строка заявление

Это может быть то, что вы ищете:

User-Agent: * 
Allow: /index.html 
Disallow:/

Предполагается, что ваша домашняя страница - index.html.

Если index.php является вашей домашней страницей, вы должны иметь возможность обмениваться index.html для index.php.

User-Agent: * 
Allow: /index.php 
Disallow:/

На моих динамических веб-сайтов, которые проходят через index.php, собирается mydomain.com/index.php все еще берет меня на главную страницу, так что выше должно работать.