Я хочу, чтобы запретить роботам сканировать папку csp и планируют использовать следующий файл robots.txt:Где разместить файл robots.txt с G-WAN?
User-agent: *
Disallow: /csp
Итак, мой вопрос дважды:
Является ли синтаксис правильным для G -WAN?
С G-WAN, где я должен разместить этот файл?
well-documented robots.txt файл должен быть помещен в/WWW G-WAN fodler - если вы хотите использовать эту функцию. robots.txt - это подсказка для роботов, многие из которых не уважают вашу волю (так что гораздо безопаснее определять права файловой системы или использовать файл index.html в папках, которые вы не хотите просматривать).
Каталог /csp не может быть сканирован любым HTTP-клиентом (включая роботов). Только каталог /www может.
Это разделение сработало довольно хорошо с точки зрения простоты, дизайна и безопасности до сих пор, избегая ошибок при принятии решения о том, что является исполняемым и каков уровень представления.
Есть ли способ настроить G-wan для запуска только как статический контент-сервер или исключительно для динамического сервера контента? Я предполагаю, что это устранит символ запроса (?) Без какой-либо стоимости перезаписи URL. Большинство серверов в производстве все равно загружают статическое содержимое в CDN. – Nagi
Чтобы создать статический сервер, удалите папки/csp и/handlers. Чтобы иметь динамический сервер, ничего не помещайте в папку/www. Если ни один сценарий G-WAN не соответствует запросу, тогда выполняется поиск файла STATIC, и тогда запрос может иметь символ '?' символ запроса. – Gil