Лучший способ проверить, доступен ли файл по URL-адресу?

Question

Я пишу сценарий для DL всей коллекции подкастов BBC из разных шоу-хостов. В моем скрипте используются BS4, Mechanize и wget.

Я хотел бы знать, как я могу проверить, дает ли запрос URL-адреса код ответа «404» из сервера. Я написал ниже функцию:

def getResponseCode(br, url): 
    print("Opening: " + url) 
    try: 
     response = br.open(url) 
     print("Response code: " + str(response.code)) 
     return True 
    except (mechanize.HTTPError, mechanize.URLError) as e: 
     if isinstance(e,mechanize.HTTPError): 
      print("Mechanize error: " + str(e.code)) 
     else: 
      print("Mechanize error: " + str(e.reason.args)) 
     return False 

я прохожу в него моих Browser() объекта и строки URL. Он возвращает либо True, либо False в зависимости от того, является ли ответ «404» или «200» (на самом деле, «Механизмы» и «Исключение», если это что-то иное, чем «200», следовательно, обработка Исключения).

В main() Я в основном перебираю эту функцию, передавая несколько URL-адресов из списка URL-адресов, которые я очистил с помощью BS4. Когда функция возвращает True, я перехожу к загрузке MP3 с помощью wget.

Однако. Моя проблема:

• URL-адрес является прямым путем к Подкаст MP3-файлам на удаленном сервере и я заметил, что когда URL доступен, br.open(<URL>) будет висеть. Я подозреваю, что это потому, что Mechanize - кэширование/загрузка фактических данных с сервера. Я не хочу , потому что я просто хочу вернуть True, если код ответа '200'. Как я могу не кэшировать/DL и просто проверить код ответа?

Я попытался с помощью br.open_novisit(url, data=None) однако похмелья все еще сохраняется ...

Answer 1

Я не думаю, что есть хороший способ получить Mechanize делать то, что вы хотите. Весь смысл Mechanize заключается в том, что он пытается имитировать браузер, посещающий URL-адрес, и браузер, посещающий URL-адрес, загружает страницу. Если вы не хотите этого делать, не используйте для этого API.

Помимо этого, независимо от того, какой API вы используете, отправив запрос на URL-адрес GET, вы просите сервер отправить вам весь ответ. Зачем это просто повесить на него как можно скорее? Используйте запрос HEAD, чтобы спросить у сервера, доступен ли он. (Иногда серверы будут не HEAD вещи, даже если они должны, так что вам придется падать обратно GET Но пересечь этот мост, если вы придете к нему.).

Например:

req = urllib.request.Request(url, method='HEAD') 
resp = urllib.request.urlopen(req) 
return 200 <= resp.code < 300 

---

Но возникает вопрос:

Когда функция возвращает Правда, я правильно загрузить MP3 с Wget.

Почему? Почему бы просто не использовать wget в первую очередь? Если URL-адрес является готовым, он получит URL-адрес; если нет, это даст вам ошибку - так же легко, как и Mechanize. И это позволяет избежать попадания в каждый URL дважды.

В этом случае попробуйте сценарий wget, вместо использования встроенной поддержки в stdlib или стороннем модуле, таком как requests?

---

Если вы просто ищете способ распараллелить вещи, которые легко сделать в Python:

def is_good_url(url): 
    req = urllib.request.Request(url, method='HEAD') 
    resp = urllib.request.urlopen(req) 
    return url, 200 <= resp.code < 300 

with futures.ThreadPoolExecutor(max_workers=8) as executor: 
    fs = [executor.submit(is_good_url, url) for url in urls] 
    results = (f.result() for f in futures.as_completed(fs)) 
    good_urls = [url for (url, good) in results if good] 

И изменить это на самом деле загрузить действительные URL, вместо того, чтобы просто делать заметки из которых они действительны, просто измените функцию задачи на то, что извлекает и сохраняет данные из GET вместо того, чтобы делать HEAD. ThreadPoolExecutor Example в документах делает почти то, что вы хотите.