7
A
ответ
5
1
В SourceForge также есть jrobotx library.
(Полное раскрытие: я отделилась код, который формирует эту библиотеку.)
0
Существует также новый выпуск гусеничного достояния:
https://github.com/crawler-commons/crawler-commons
Библиотека стремится реализовать общие функции для любого веб-гусеничного устройства, и это включает очень удобный парсер robots.txt
Смежные вопросы
- 1. Java - XML Parser (DOM-Parser)
- 2. .htaccess перенаправляет /robots.txt к /robots.txt/
- 3. Java Wikitext Parser
- 4. Java почтовый адрес parser
- 5. java VTD-Parser Logic
- 6. Java: XML Parser
- 7. Torrent Parser в Java
- 8. Java Reddit Parser
- 9. Java csv parser/writer
- 10. Java Json Parser array
- 11. Java EDI X12 Parser
- 12. Java Regex HTML Parser
- 13. Java CLI Parser
- 14. CSS Parser в Java
- 15. XPath Parser java redundancy
- 16. Java - XML Parser & Downloader
- 17. Java DOM Parser XML
- 18. Java-метод invocation parser?
- 19. Java RTF Parser
- 20. SQL Parser для java
- 21. Переменная переименования Java parser
- 22. Ruby parser in Java
- 23. Доступ к файлу robots.txt в java
- 24. JSON to Java parser-Android
- 25. C++ Parser/Model для Java
- 26. HTML/XML Parser для Java
- 27. Java Сообщение электронной почты Parser?
- 28. HTML Parser для ответа - Java
- 29. Android Java Passing XML parser
- 30. Java Xml Parser В Android
В Robotstxt есть ошибка. Пожалуйста, не используйте его. Потратил много времени. К файлу, подобному этому: User-agent: * Disallow:/ Метод AllowAll Robotstxt говорит «true». – 10101010