Threading в Python для каждого элемента в списке

Question

У меня есть список H = [item1, item2, item3....so on] и функция,

def start(item1): 
    p1 = Do something to item1  
    return p1 

Я хочу старт функции должен выполняться параллельно для каждого элемента в списке H. Я знаю мультипроцессирование, но я уже имеют 4 списка, которые работают параллельно с использованием многопроцессорности. В то время как может быть достигнута резьба для каждого элемента в списке? Может кто-нибудь, пожалуйста, объясните это примером кода.

Спасибо!

Answer 1

сделать функцию, которая выполняет заданную функцию в потоке и сохраняет результат:

import threading 
def run_item(f, item): 
    result_info = [threading.Event(), None] 
    def runit(): 
     result_info[1] = f(item) 
     result_info[0].set() 
    threading.Thread(target=runit).start() 
    return result_info 

Тогда другая функция, чтобы собрать результаты:

def gather_results(result_infos): 
    results = [] 
    for i in xrange(len(result_infos)): 
     result_infos[i][0].wait() 
     results.append(result_infos[i][1]) 
    return results 

Тогда из основного потока, говорят proc это функция, обрабатывающая элемент, и items - это ваш список товаров для обработки:

#start processing the items 
result_infos = [run_item(proc, item) for item in items] 
#gather the results (blocking) 
results = gather_results(result_infos) 

01 Использование

Пример:

>>> import time 
>>> def proc(item): 
...  time.sleep(2.0) 
...  return item * 2 
... 
>>> print gather_results([run_item(proc, item) for item in [1, 2, 10, 100]]) 
#2 seconds later... 
[2, 4, 20, 200]