Как получить более высокую скорость при использовании многопоточности в python

Question

Теперь я изучаю, как быстро получать данные с сайта. Чтобы получить более высокую скорость, я рассматриваю возможность использования многопоточных потоков. Вот код, который я использовал для проверки разницы между многопоточной и простой почтой.

import threading 
import time 
import urllib 
import urllib2 


class Post: 

    def __init__(self, website, data, mode): 
     self.website = website 
     self.data = data 

     #mode is either "Simple"(Simple POST) or "Multiple"(Multi-thread POST) 
     self.mode = mode 

    def post(self): 

     #post data 
     req = urllib2.Request(self.website) 
     open_url = urllib2.urlopen(req, self.data) 

     if self.mode == "Multiple": 
      time.sleep(0.001) 

     #read HTMLData 
     HTMLData = open_url.read() 



     print "OK" 

if __name__ == "__main__": 

    current_post = Post("http://forum.xda-developers.com/login.php", "vb_login_username=test&vb_login_password&securitytoken=guest&do=login", \ 
         "Simple") 

    #save the time before post data 
    origin_time = time.time() 

    if(current_post.mode == "Multiple"): 

     #multithreading POST 

     for i in range(0, 10): 
      thread = threading.Thread(target = current_post.post) 
      thread.start() 
      thread.join() 

     #calculate the time interval 
     time_interval = time.time() - origin_time 

     print time_interval 

    if(current_post.mode == "Simple"): 

     #simple POST 

     for i in range(0, 10): 
      current_post.post() 

     #calculate the time interval 
     time_interval = time.time() - origin_time 

     print time_interval 

как вы можете видеть, это очень простой код. сначала я устанавливаю режим на «Простой», и я могу получить временной интервал: 50s (возможно, моя скорость немного медленная :(), тогда я устанавливаю режим «Множественный», и я получаю временной интервал: . от я могу видеть, многопоточные может увеличить скорость, но результат разве так хорошо, как я себе представить. я хочу, чтобы получить гораздо более высокую скорость.

от отладки, я обнаружил, что программа в основном блоки на линии: open_url = urllib2.urlopen(req, self.data), эта строка кода занимает много времени, чтобы отправлять и получать данные с указанного веб-сайта. Возможно, я могу получить более быструю скорость, добавив time.sleep() и используя многопоточность внутри функции urlopen, но Я не могу этого сделать, потому что его собственная функция python.

Если не учитывать допустимые пределы, которые сервер блокирует скорость сообщения, что еще я могу сделать, чтобы получить более быструю скорость? или любой другой код, который я могу изменить? большое спасибо!

Answer 1

Во многих случаях, нарезание резьбы питона не улучшает скорость выполнения очень хорошо ... иногда, это делает его хуже. Для получения дополнительной информации см. David Beazley's PyCon2010 presentation on the Global Interpreter Lock/Pycon2010 GIL slides.Эта презентация очень информативна, я очень рекомендую ее любому, кто рассматривает резьбу ...

Вы должны использовать multiprocessing module. Я включил это как вариант в ваш код (см. Нижнюю часть моего ответа).

Запуск этого на одном из моих старых машин (Python 2.6.6):

current_post.mode == "Process" (multiprocessing) --> 0.2609 seconds 
current_post.mode == "Multiple" (threading)  --> 0.3947 seconds 
current_post.mode == "Simple" (serial execution) --> 1.650 seconds 

Я согласен с комментарием TokenMacGuy и цифры выше, включают перемещение .join() в другую петлю. Как вы можете видеть, многопроцессорность python значительно быстрее, чем потоки.

---

from multiprocessing import Process 
import threading 
import time 
import urllib 
import urllib2 


class Post: 

    def __init__(self, website, data, mode): 
     self.website = website 
     self.data = data 

     #mode is either "Simple"(Simple POST) or "Multiple"(Multi-thread POST) 
     self.mode = mode 

    def post(self): 

     #post data 
     req = urllib2.Request(self.website) 
     open_url = urllib2.urlopen(req, self.data) 

     if self.mode == "Multiple": 
      time.sleep(0.001) 

     #read HTMLData 
     HTMLData = open_url.read() 

     print "OK" 

if __name__ == "__main__": 

    current_post = Post("http://forum.xda-developers.com/login.php", "vb_login_username=test&vb_login_password&securitytoken=guest&do=login", \ 
         "Process") 
    #save the time before post data 
    origin_time = time.time() 

    if(current_post.mode == "Multiple"): 

     #multithreading POST 
     threads = list() 
     for i in range(0, 10): 
      thread = threading.Thread(target = current_post.post) 
      thread.start() 
      threads.append(thread) 
     for thread in threads: 
      thread.join() 
     #calculate the time interval 
     time_interval = time.time() - origin_time 
     print time_interval 

    if(current_post.mode == "Process"): 

     #multiprocessing POST 
     processes = list() 
     for i in range(0, 10): 
      process = Process(target=current_post.post) 
      process.start() 
      processes.append(process) 
     for process in processes: 
      process.join() 
     #calculate the time interval 
     time_interval = time.time() - origin_time 
     print time_interval 

    if(current_post.mode == "Simple"): 

     #simple POST 
     for i in range(0, 10): 
      current_post.post() 
     #calculate the time interval 
     time_interval = time.time() - origin_time 
     print time_interval 

Answer 2

Поиск DNS требует времени. Вы ничего не можете с этим поделать. Большие задержки - одна из причин использования нескольких потоков в первую очередь - параллельный поисковый сайт GET/POST.

Дамп сон() - это не помогает.

Answer 3

Имейте в виду, что единственный случай, когда многопоточность может «увеличивать скорость» в Python, - это когда у вас есть операции , как этот, которые связаны с большими объемами ввода-вывода. В противном случае многопоточность не увеличивает «скорость», поскольку она не может работать на нескольких процессорах (нет, даже если у вас несколько ядер, python не работает именно так). Вы должны использовать многопоточность, если хотите, чтобы две вещи выполнялись одновременно, а не когда вы хотите, чтобы две вещи были параллельными (т. Е. Два процесса выполнялись отдельно).

Теперь, что вы на самом деле делаете, на самом деле не увеличит скорость ни одного поиска в DNS, но это позволит раскрутить несколько запросов, ожидая результатов некоторых других, но вы должны быть осторожны сколько вы делаете, или вы просто сделаете время ответа еще хуже, чем они есть.

Также, пожалуйста, прекратите использование urllib2, и использовать запросы: http://docs.python-requests.org

Answer 4

Самое большое, что вы делаете неправильно, что вредит вашей пропускной способности больше всего, это то, как вы вызываете thread.start() и thread.join():

for i in range(0, 10): 
    thread = threading.Thread(target = current_post.post) 
    thread.start() 
    thread.join() 

Каждый раз, проходя через цикл, вы создаете поток, запускаете его, а затем ждите его завершения. Перед тем, как перейти к следующей теме. Вы ничего не делаете одновременно!

То, что вы, вероятно, следует делать вместо этого:

threads = [] 

# start all of the threads 
for i in range(0, 10): 
    thread = threading.Thread(target = current_post.post) 
    thread.start() 
    threads.append(thread) 

# now wait for them all to finish 
for thread in threads: 
    thread.join()