9
Если я хочу только разрешить сканерам обращаться к index.php, будет ли это работать?Как разрешить сканерам доступ только к index.php, используя robots.txt?
User-agent: *
Disallow:/
Allow: /index.php
A
ответ
1
Вы можете использовать Google Robots tool для оформления заказа. Я никогда не ставил бы никаких секретных каталогов в файл robots, так как я бы предположил, что строка, подобная ниже, будет медом для определенных пауков.
Disallow: /secret
2
Попробуйте поменять порядок Disallow/Allow:
User-agent: *
Allow: /index.php
Disallow:/
Смотрите эту информацию из Википедии:
«Тем не менее, для того, чтобы быть совместимым со всеми роботов, если вы хотите разрешить одиночные файлы в каталоге, отличном от нулевого , вам необходимо сначала поместить директиву Разрешить , а затемDisallow, например:»
http://en.wikipedia.org/wiki/Robots.txt
Еще бы я не ожидал, что работать слишком последовательно
19
Да, он будет работать. Вот результат теста от Google Webmaster Tool.
Url
http://www.example.org/index.php
Googlebot
Allowed by line 3: Allow: /index.php
Googlebot-Mobile
Allowed by line 3: Allow: /index.php
Однако помните, что при такой конфигурации вашего сайта страница не будет сканироваться, если страница не доступна с полным квалифицированным путем. Иными словами, http://www.example.org/ запрещен, а http://www.example.org/index.php разрешен.
Если вы хотите, чтобы ваша страница была доступна, вот лучшая версия вашего файла.
User-agent: *
Disallow:/
Allow: /index.php
Allow: /$
+1
Не могли бы вы объяснить, почему работает/$ или что он делает? –
+0
Пояснение для '/ $' можно найти здесь [http://stackoverflow.com/a/29475539/1973409) –
3
User-agent: *
Allow: /index.php
Disallow:/
1
User-agent: *
Allow: /$
Allow: /index.php
Allow: /sitemap.xml
Allow: /robots.txt
Disallow:/
Sitemap: http://www.your-site-name.com/sitemap.xml
+3
Не могли бы вы объяснить свой ответ? – Qix
Смежные вопросы
- 1. Как разрешить сканерам посещать часть сайта?
- 2. .htaccess только разрешить доступ к index.php и директории
- 3. запретить доступ к index.php, но разрешить index.php? Вар = Вэл
- 4. разрешить index.php только на субдомене
- 5. Robots.txt: разрешить только основные SE
- 6. Ограничить прямой доступ к файлам .php через браузер и разрешить доступ только к ним index.php
- 7. Разрешить доступ только к index.php и только к одному общедоступному каталогу, с nginx
- 8. Robots.txt: разрешить весь доступ, но 2 директории
- 9. robots.txt запрещает доступ к определенным параметрам URL
- 10. Как разрешить доступ только к определенным маршрутам
- 11. Robots.txt - разрешить ботам посещать только через htts
- 12. Использование «Разрешить» в robots.txt
- 13. Robots.txt Команда «Разрешить»?
- 14. Как получить доступ к сайту robots.txt сайта
- 15. RewriteRule разрешить доступ только к определенным подпапок в папке
- 16. Разрешить доступ только к определенному домену.
- 17. Разрешить доступ только скрипту к файлу iis7.5
- 18. Asp.net Разрешить доступ только к администратору
- 19. разрешить доступ к файлам только через cgi
- 20. .htaccess - запретить доступ к папке, но разрешить доступ к файлу через index.php
- 21. Разрешить доступ к файлу PHP только внутри сервера
- 22. .htaccess перенаправляет /robots.txt к /robots.txt/
- 23. .htaccess Разрешить доступ к определенному файлу
- 24. Разрешить доступ к папке, находящейся внутри папки \ application \, в Codeigniter
- 25. Разрешить и Disallow в robots.txt
- 26. robots.txt в codeigniter - разрешить просмотр/функцию
- 27. Разрешить публичный доступ только к одному PHP скрипт и отрицать
- 28. Как разрешить доступ к классу?
- 29. Разрешить доступ к конкретному рефереру только в .htaccess
- 30. Доступ к файлу robots.txt в java
мне очень интересно, почему вы хотели бы сделать это ... не вы хотите Искатели индексировать гораздо больше вашего сайта? –