Почему эта нить никогда не объявляется или не запускается?

Question

Я реализую загрузчик изображений с моделью производителя-потребителя. Один поток отвечает за создание (url, filename) пар и помещает их в очередь. Я хочу, чтобы потоки MAX_THREADS выбирали пары и запускали загрузку. Вот мои темы:

class Extractor(Thread): 
    def __init__(self, group=None, target=None, name=None, 
       args=(), kwargs=None, verbose=None, items=None): 
     super(Extractor, self).__init__() 
     self.target = target 
     self.name = name 
     self.items = items 

    def run(self): 
     while True: 
      for item in self.items: 
       if not QUEUE.full(): 
        QUEUE.put_nowait(extract(item)) 
        logging.debug('Putting ' + str(item) + ' : ' + str(QUEUE.qsize()) + ' items in queue') 

class Downloader(Thread): 
    def __init__(self, group=None, target=None, name=None, 
       args=(), kwargs=None, verbose=None): 
     super(Downloader, self).__init__() 
     self.target = target 
     self.name = name 
     self.seen = set() 

    def run(self): 
     while True: 
      if not QUEUE.empty(): 
       pair = QUEUE.get_nowait() 
       # I have seen the URL 
       if pair[0] in self.seen: 
        continue 
       else: 
        # Never seen it before 
        self.seen.add(pair[0]) 
        logging.debug('Downloading ' + str(pair[1]) + ' : ' + str(QUEUE.qsize()) + ' items in queue') 
        download_one_pic(pair) 


if __name__ == '__main__': 
    items = None 
    items = crawl('username__', items) 
    worker_threads = [] 

    producer = Extractor(name='Extractor', items=items) 
    producer.daemon = True 
    producer.start() 

    consumer = Downloader(name='Downloader[1]') 
    consumer2 = Downloader(name='Downloader[2]') 
    worker_threads.append(consumer) 
    worker_threads.append(consumer2) 

    for thread in worker_threads: 
     thread.start() 
     thread.join() 

очередь имеют максимальный размер 50 и я хочу Производителя нити работать независимо от других потоков, так она у меня демонизируют. Одно странно, что нить consumer2 никогда не запускается, и я не знаю, почему. Как и в моем журнале, только Downloader[1] выполняет задание, и очередь держится колеблется между 49 и 50, поэтому я знал, что Downloader[2] никогда не запускается.

Answer 1

Вызов join() в потоке ждет, пока он не будет завершен до его возвращения. Этот цикл в конце вашего кода будет выполняться только один раз, потому что классы Downloader навсегда зацикливаются. Запустите запуск в одном цикле, а затем снова переверните их снова, чтобы присоединиться(), и подождите там после того, как все потоки запущены.