Это может быть также полезно создать NoFollow в среде Staging, если вы используете один. Не уверен, что theres является прецедентом с индексированием промежуточного сайта .... так что если вы согласитесь, вы сможете использовать эти шаги, чтобы помочь блокировать это.
Если вы используете Tomcat, установить переменную окружения, такие как NOFOLLOW = истинный -> смотрите здесь, например: TOMCAT_OPTS, environment variable and System.getEnv()
Далее, как упомянуто @doelleri установить urlMappings
UrlMappings
//Robots.txt
"/robots.txt"(controller: 'robots', action:'robots')
Затем с помощью robotsController для обнаружения ENVIR которую вы установили на своем промежуточном коте.
RobotsController
def robots() {
if (System.getenv('NOFOLLOW') == 'true') {
render(view: 'robots')
} else {
render(status: 404, text: 'Failed to load robots.txt')
}
}
robots.gsp
<%@ page contentType="text/plain;charset=UTF-8" %>User-agent: *
Disallow:/
Спасибо. Он работает для роботов, но не для sitemap.xml, как бы вы это сделали? – confile
Почему это не работает? – doelleri
"/sitemap.xml" (просмотр: "/ sitemap") не работает. – confile