Python multiprocessing.pool не удалось остановить после завершения всех задач

Question

я реализовал синтаксический анализатор так,

import multiprocessing 
import time 

def foo(i): 
    try: 
     # some codes 
    except Exception, e: 
     print e 

def worker(i): 
    foo(i) 
    time.sleep(i) 
    return i 


if __name__ == "__main__": 
    pool = multiprocessing.Pool(processes=4) 
    result = pool.map_async(worker, range(15)) 
    while not result.ready(): 
     print("num left: {}".format(result._number_left)) 
     time.sleep(1) 
    real_result = result.get() 
    pool.close() 
    pool.join() 

Мой анализатор фактически завершает все процессы, но результаты не доступны т.е., это все еще внутри время петля и печать num left : 2. Как я это прекратил? И я не хочу значения переменной real_result.

Я бегу Ubuntu 14.04, питона 2,7

соответствующая часть моего кода выглядит,

async_args = ((date, kw_dict) for date in dates) 
    pool = Pool(processes=4) 
    no_rec = [] 

    def check_for_exit(msg): 
     print msg 
     if last_date in msg: 
      print 'Terminating the pool' 
      pool.terminate() 
    try: 
     result = pool.map_async(parse_date_range, async_args) 
     while not result.ready(): 
      print("num left: {}".format(result._number_left)) 
      sleep(1) 

     real_result = result.get(5) 

     passed_dates = [] 

     for x, y in real_result: 
      passed_dates.append(x) 
      if y: 
       no_rec.append(y[0]) 

     # if last_date in passed_dates: 
     #  print 'Terminating the pool' 
     #  pool.terminate() 

     pool.close() 
    except: 

     print 'Pool error' 
     pool.terminate() 
     print traceback.format_exc() 
    finally: 
     pool.join() 

Answer 1

Моя ставка является то, что у вас есть неисправный parse_date_range, который вызывает рабочий процесс прекратить без производя любое исключение или исключение. Вероятно, exit libc вызывается модулем C/lib из-за очень неприятной ошибки.
Этого код воспроизводит бесконечный цикл вы наблюдать:

import sys 
import multiprocessing 
import time 

def parse_date_range(i): 
    if i == 5: 
     sys.exit(1) # or raise SystemExit; 
        # other exceptions are handled by the pool 
    time.sleep(i/19.) 
    return i 


if __name__ == "__main__": 
    pool = multiprocessing.Pool(4) 
    result = pool.map_async(parse_date_range, range(15)) 
    while not result.ready(): 
     print("num left: {}".format(result._number_left)) 
     time.sleep(1) 
    real_result = result.get() 
    pool.close() 
    pool.join() 

Надеется, что это поможет.