Кто останавливает мои темы?

Question

У меня есть некоторые темы рыбалки в очередь на работу, что-то вроде этого:

class Worker(Thread): 
    [...] 
    def run(self): 
     while not self.terminated: 
      job = myQueue.get_nowait() 
      job.dosomething() 
      sleep(0.5) 

Теперь self.terminated просто булево значение я использую для выхода из цикла, но это проблема, несколько раз в день они перестают работать без моего вмешательства. Все они, кроме одного: приложение начинается с, скажем, 5 рабочих потоков и в произвольное время я проверяю их, и один работает только. Все остальные имеют как _Thread__initialized, так и _Thread__stopped fields true. Нитки и задания не взаимодействуют друг с другом. Что я должен искать?

PS: Я понимаю, что очень сложно попытаться выяснить проблему без фактического кода, но она огромна.

UPDATE: на самом деле Queue.Empty является единственным исключением в ловушке - думаю, я полагал, что все внутренние ошибки заданий распространяются без уничтожения потоков eheh - поэтому я собираюсь заблокировать все исключения и увидеть ...

Answer 1

Как пример, исключение внутри цикла остановит поток.

Почему вы используете get_nowait(), а не get()? Что делать, если очередь пуста?

Answer 2

stackoverflow? :)

Answer 3

GIL? в одно времени только переводчик делает работу, если вы хотите, правда, распараллеливание вы должны использовать многопроцессорные см http://docs.python.org/library/multiprocessing.html

Answer 4

Если это фактический код это довольно очевидно: myQueue.get_nowait() вызывает исключение (Empty), когда очередь пуста!

Answer 5

У меня есть два предложения.

1) get_nowait() создаст исключение Queue.Empty, если нет доступных элементов. Убедитесь, что исключения не убивают ваши потоки.

2) Вместо этого используйте get(). Поместите None в очередь, чтобы вывести поток для вывода вместо булевского флага. Тогда вам не понадобится полсекунды, и вы будете обрабатывать предметы быстрее.

def run(self): 
    while True: 
     job = queue.get() 
     if job: 
      try: 
       job.do_something() 
      except Exception as e: 
       print e 
     else: # exit thread when job is None 
      break