Обработка нескольких генераторов параллельно

Question

Предположим, у меня есть несколько генераторов (которые должны работать параллельно). Можно ли использовать многопроцессорный модуль для вызова next() на этих генераторах, чтобы обработка выполнялась параллельно?

Я хочу избежать составления списка из генераторов, так как он, скорее всего, потребляет много памяти.

Контекст: Первоначально у меня есть генератор, который выводит все связующие деревья заданного графа. Часть алгоритма включает итерацию через множество степеней подмножества соседей данной вершины. Я хотел бы распараллелить эту часть, по крайней мере, для первоначального вызова. Для определенного графика требуется около полутора секунд для вывода дерева для первых 1024 деревьев.

Answer 1

Я думаю, что ваша основная проблема будет заключаться в том, чтобы база данных родительского процесса построила ваш график. Однако это, вероятно, может быть достигнуто с использованием многопроцессорной обработки Queue.

Простой пример:

import multiprocessing 
from queue import Empty 

def call_generator(generator, queue): 
    for item in generator: 
     queue.put(item) 

def process_responses(queue): 
    items = [] 
    while True: 
     try: 
      # After a one second timeout, we'll assume the generators are done 
      item = queue.get(timeout=1) 
     except Empty: 
      print('done') 
      break 

     print('item: {}'.format(item)) 

generators = [ 
    iter(range(10)), 
    iter(range(11, 20)), 
    iter(range(20, 50)) 
] 

queue = multiprocessing.Queue() 

p = multiprocessing.Process(target=process_responses, args=(queue,)) 
p.start() 


for generator in generators: 
    generator_process = multiprocessing.Process(
     target=call_generator, 
     args=(generator, queue) 
    ) 
    generator_process.start() 

p.join() # Wait for process_response to return