Рабочий пример очереди очереди

Question

Как ограничить максимум открытых потоков до 20 в следующем коде? Я знаю, что в прошлом были какие-то схожие вопросы, но я специально хочу знать, как это лучше всего делать с очередью и, если возможно, с рабочим примером.

# b is a list with 10000 items 
    threads = [threading.Thread(target=targetFunction, args=(ptf,anotherarg)) for ptf in b] 
    for thread in threads: 
     thread.start() 

    for thread in threads: 
     thread.join() 

Answer 1

Простой способ сделать это с queue.Queue для работы и запуска нити с for _ in range(MAXTHREADS): threading.Thread(target=f, args=(the_queue,)).start(). Тем не менее, я считаю, что это легче читать с помощью подкласса Thread. Ваш пробег может отличаться.

import threading 
import queue 

class Worker(threading.Thread): 
    def __init__(self, q, other_arg, *args, **kwargs): 
     self.q = q 
     self.other_arg = other_arg 
     super().__init__(*args, **kwargs) 
    def run(self): 
     while True: 
      try: 
       work = self.q.get(timeout=3) # 3s timeout 
      except queue.Empty: 
       return 
      # do whatever work you have to do on work 
      self.q.task_done() 

q = queue.Queue() 
for ptf in b: 
    q.put_nowait(ptf) 
for _ in range(20): 
    Worker(q, otherarg).start() 
q.join() # blocks until the queue is empty. 

Если вы настойчивы об использовании функции, я предлагаю оборачивать ваш targetFunction с чем-то, что знает, как получить из очереди.

def wrapper_targetFunc(f, q, somearg): 
    while True: 
     try: 
      work = q.get(timeout=3) # or whatever 
     except queue.Empty: 
      return 
     f(work, somearg) 
     q.task_done() 

q = queue.Queue() 
for ptf in b: 
    q.put_nowait(ptf) 
for _ in range(20): 
    threading.Thread(target=wrapper_targetFunc, 
        args=(targetFunction, q, otherarg)).start() 
q.join()