Создание так, что мои запросы python бывают быстрее

Question

У меня есть скрипт python с большим количеством исключений. Я пытаюсь сделать около 50 000 запросов. И это очень медленно, так как я также хотел бы, чтобы мой скрипт работал, поэтому я добавил почти все запросы об исключениях, которые имеют в основном отношение к соединениюError и т. Д.

Есть ли способ сделать этот скрипт поэтому он намного быстрее, чем сейчас, и более модульным?

for i in range(50450000,50500000): 
    try: 
     try: 
      try: 
       try: 
        try: 
         try: 
          try: 
           try: 
            try: 
             try: 
              try: 
               try: 

                check_response = 'http://www.barneys.com/product/adidas--22human-race-22-nmd-sneakers-'+str(i)+'.html' 
                make_requests = requests.get(check_response,headers=headers).text 
                soup = BeautifulSoup(make_requests) 
                try: 
                 main_wrapper = soup.find('h1',attrs={'class':'title'}).text 
                 print main_wrapper + ' ' + str(i) 
                except AttributeError: 
                 arr.append(check_response) 
                 with open('working_urls.json','wb') as outfile: 
                  json.dump(arr,outfile,indent=4) 

               except requests.exceptions.InvalidURL: 
                continue 
              except requests.exceptions.InvalidSchema: 
               continue 
             except requests.exceptions.MissingSchema: 
              continue 
            except requests.exceptions.TooManyRedirects: 
             continue 
           except requests.exceptions.URLRequired: 
            continue 
          except requests.exceptions.ConnectTimeout: 
           continue 
         except requests.exceptions.Timeout: 
          continue 
        except requests.exceptions.SSLError: 
         continue 
       except requests.exceptions.ProxyError: 
        continue 
      except requests.exceptions.HTTPError: 
       continue 
     except requests.exceptions.ReadTimeout: 
      continue 
    except requests.exceptions.ConnectionError: 
     continue 

Answer 1

Во-первых, пожалуйста, замените все эти уродливые попробовать/за исключением блоков по одну, как:

for i in range(50450000,50500000): 
    try: 
     check_response = 'http://www.barneys.com/product/adidas--22human-race-22-nmd-sneakers-'+str(i)+'.html' 
     make_requests = requests.get(check_response,headers=headers).text 
     soup = BeautifulSoup(make_requests) 
     try: 
      main_wrapper = soup.find('h1',attrs={'class':'title'}).text 
      print main_wrapper + ' ' + str(i) 
     except AttributeError: 
      arr.append(check_response) 
      with open('working_urls.json','wb') as outfile: 
       json.dump(arr,outfile,indent=4) 
    except requests.exceptions.InvalidURL: 
     continue 
    except requests.exceptions.InvalidSchema: 
     continue 
    except requests.exceptions.MissingSchema: 
     continue 
    ... 

И если все, что вы делаете это по-прежнему во всех случаях используйте базовый класс RequestException. Это делается:

try: 
    check_response = 'http://www.barneys.com/product/adidas--22human-race-22-nmd-sneakers-'+str(i)+'.html' 
    make_requests = requests.get(check_response,headers=headers).text 
    soup = BeautifulSoup(make_requests) 
    try: 
     main_wrapper = soup.find('h1',attrs={'class':'title'}).text 
     print main_wrapper + ' ' + str(i) 
    except AttributeError: 
     arr.append(check_response) 
     with open('working_urls.json','wb') as outfile: 
      json.dump(arr,outfile,indent=4) 
except requests.exceptions.RequestException: 
    pass 

Возможно, не быстрее, но наверняка гораздо проще читать!

Что касается скорости, вы должны рассмотреть возможность использования потоков/процессов. Взгляните на модули threading и multiprocessing.