Запретить загрузку файлов

Question

У меня есть страница загрузки asp.net, которая отправляет файл клиенту, но я хочу запретить загрузку роботов, потому что файл большой, и, как я могу видеть из записей, бот загружает этот файл около 20 раз. Это замедляет работу сервера и вызывает потребление полосы пропускания.

Я закодировал эту страницу, чтобы подсчитывать загрузки и обнаруживать .net-структуру клиента, чтобы я мог опубликовать установочный файл, содержащий инфраструктуру .net, или нет.

Мне нужно как-то отклонить Google и других ботов, чтобы добраться до этой страницы.

Моя ссылка на это как download.aspx? Пакет = MSP

Answer 1

Да, добавьте файл robots.txt твой сайт. Он должен содержать список правил (действительно предложений), как должны вести себя пауки.

За дополнительной информацией обращайтесь к статье this. Также для kicks, this является файлом robot.txt, используемым Google.

Answer 2

Вы хотите robots.txt file. Например:

User-agent: * 
Disallow: /download.aspx 

Это не принудительно блокировать поисковые системы, но большинство (в том числе Google) будет проверять файл robots.txt и следовать инструкциям

Answer 3

Правильный ответ, как отмечают другие два человека, заключается в создании файла robots.txt, чтобы сделать состоятельными роботами, которые не загружают вещи.

Однако важно знать, что не все роботы хорошо себя ведут, и что robots.txt является только рекомендательным. Если у вас есть страницы, которые не связаны публично, не перечислите их в файле robots.txt, чтобы «защитить» их, поскольку некоторые особенно плохо управляемые роботы фактически просматривают файл, чтобы увидеть, какие интересные URL-адреса могут быть, что они еще не знают о ,

Answer 4

Вместо файла robots.txt, где это невозможно, вы можете украсить свои страницы тегами <meta name="robots" content="noindex">.

• Опять же, как упоминалось Донни, это просто рекомендация для ботов и нет требования, чтобы следовать за ним.

• Реализовать метод CAPTCHA, который обеспечивает механизм входа, чтобы желательные пользователям доступ к защищенному папку, где вы храните ваши самые большие файлы.

• Вместо того чтобы обеспечить прямые ссылки на содержание, которое легко разобрано ботов использование Javascript на Вашей ссылки на скачивание Перенаправление пользователей. Многие боты не будут запускать javascript , хотя обфускация бота - это , часто движущаяся цель.