tomcat urls и robots.txt

Question

Если у меня есть веб-сервис/приложение в Tomcat, мне нужно беспокоиться о механизме, таком как «robots.txt», чтобы поддерживать поисковые системы от троллинга tomcat? Я просто хочу запретить Google и другим пользователям индексировать что-либо в tomcat ... в настоящее время это небольшой проект, над которым я работаю, сервер доступен через статическое ip и доменное имя, и в настоящее время у меня нет аутентификации для tomcat хотя это будет сделано в ближайшее время. Если вы просто хотите ввести имя домена или IP-адрес сервера, вы получите простую «пустую» страницу в IIS ... это только когда вы знаете, и введите имя подкаталога tomcat (которое подключено в IIS с помощью jakarta), что приложение tomcat становится видимым и отображается в браузере.

Должен ли я беспокоиться об этом? Подумал бы, что, поскольку Google не может достичь первоначального URL-адреса tomcat, если он не знает его раньше, ему нечего «прокормить»?

Answer 1

Если в Интернете нет ссылок на ваши страницы Tomcat, я бы не стал беспокоиться об этом.

Подумайте об этом с точки зрения Google - как бы вы реализовали такую ​​вещь? Начните с любого заданного URL и грубой силы все возможные пути? Я был бы очень удивлен, если бы Google был , что мощный.

Этот тип контента даже имеет имя, Invisible Web.