python multiprocessing.Process's join не может закончиться

Question

Я собираюсь написать программу с несколькими процессами (переполненную процессором) и многопоточными (IO-переполненными). (Код ниже только образец, а не программа)

Но когда код соответствует join(), он превращает программу в тупик.

Мой код пост ниже

import requests 
import time 
from multiprocessing import Process, Queue 
from multiprocessing.dummy import Pool 


start = time.time() 
queue = Queue() 
rQueue = Queue() 
url = 'http://www.bilibili.com/video/av' 
for i in xrange(10): 
    queue.put(url+str(i)) 


def goURLsCrawl(queue, rQueue): 
    threadPool = Pool(7) 
    while not queue.empty(): 
     threadPool.apply_async(urlsCrawl, args=(queue.get(), rQueue)) 
    threadPool.close() 
    threadPool.join() 
    print 'end' 


def urlsCrawl(url, rQueue): 
    response = requests.get(url) 
    rQueue.put(response) 


p = Process(target=goURLsCrawl, args=(queue, rQueue)) 
p.start() 
p.join() # join() is here 
end = time.time() 
print 'totle time %0.4f' % (end-start,) 

Заранее спасибо.

Answer 1

Наконец-то я нашел причину. Как вы можете видеть, я импортировать Queue из multiprocessing, поэтому Queue должен использоваться только для процесса, но я делаю темы доступ к Queue на моем коде, так что он должен что-то неизвестное происходит за программой.

Чтобы исправить это, просто импортировать Queue вместо multiprocessing.Queue