Как повторить попытку urllib2.request при сбое?

Question

Когда urllib2.request достигает таймаута, исключение составляет urllib2.URLError. Что такое pythonic способ повторного установления соединения?

Answer 1

Я бы использовал декоратор retry. Есть и другие, но это работает очень хорошо. Вот как вы можете использовать его:

@retry(urllib2.URLError, tries=4, delay=3, backoff=2) 
def urlopen_with_retry(): 
    return urllib2.urlopen("http://example.com") 

Это будет повторять функцию, если URLError поднята. Проверьте ссылку выше для документации по параметрам, но в основном она будет повторять максимум 4 раза, при этом экспоненциальная задержка отсрочки удваивается каждый раз, например. 3 секунды, 6 секунд, 12 секунд.

Answer 2

Чтобы повторить попытку по истечении времени ожидания можно поймать исключение, как @Karl Barker suggested in the comment:

assert ntries >= 1 
for _ in range(ntries): 
    try: 
     page = urlopen(request, timeout=timeout) 
     break # success 
    except URLError as err: 
     if not isinstance(err.reason, socket.timeout): 
      raise # propagate non-timeout errors 
else: # all ntries failed 
    raise err # re-raise the last timeout error 
# use page here 

Answer 3

Есть несколько библиотек там, которые специализируются на этом.

Первый - backoff, который разработан с особенно функциональной чувствительностью. Декораторам передаются произвольные вызывающие обратные генераторы, которые дают последовательные значения задержки. Простая экспоненциальная потеря мощность с максимальным временем повтора 32 секунд может быть определена как:

@backoff.on_exception(backoff.expo, 
         urllib2.URLError, 
         max_value=32) 
def url_open(url): 
    return urllib2.urlopen("http://example.com") 

Другим retrying, который имеет очень похожую функциональность API, но где повторить параметры задаются посредством заранее определенных аргументов ключевых слов.