Запретить действие с файлом robots.txt в MVC

Question

В моем ассемблере ASP.Net MVC у меня есть URL-адрес контроллера/действия, который я хочу добавить в раздел Robots.txt Disallow, чтобы мое представление не было обходным и поэтому не индексированным поисковыми системами.

Но я переименовал контроллер/действие с использованием маршрутов, как этот

routes.MapRoute(
       "693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0", 
       "693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0", 
       new { controller = "Index", action = "Report" } 
      ); 

поэтому мой URL, как это

http://localhost:51227/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0 

я хочу знать, в Robots.txt Disallow Какой URL должен включать в игнорировать поисковые системы.

User-agent: * 
Disallow: /Index/Report 

      OR 

Disallow: /Index/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0 

Прошу предложить.

Answer 1

Вы должны заблокировать /693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0, если вы хотите, чтобы только этот URL-адрес был проигнорирован сканерами.

Однако они все равно найдут ваш URL-адрес /Index/Report, чтобы вы могли его заблокировать?

Answer 2

Поисковая система (не обязательно) знает, что вы используете ASP.NET MVC, а также как настроена ваша маршрутизация. Он просто видит конечные URL-адреса. См The Web Robots Pages:

вам нужен отдельный "Disallow" линию для каждого URL префикс, который требуется исключить

Так 'запрещенные' URL:

http://localhost:51227/693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0 

Становится:

Disallow: /693a7878-4b1d-4934-bad2-cec60e4ffbd1ec801ac0