Пример Python и многопроцессорности

Question

Я много нового в многопроцессорной обработке. Я пытаюсь изменить свой код, чтобы одновременно выполнять часть его.

У меня есть огромный список, где я должен назвать API для каждого узла. Поскольку API являются независимыми, мне не нужен результат первого, чтобы перейти ко второму. Итак, у меня есть этот код:

def xmlpart1(id): 
    ..call the api.. 
    ..retrieve the xml.. 
    ..find the part of xml I want.. 
    return xml_part1 

def xmlpart2(id): 
    ..call the api.. 
    ..retrieve the xml.. 
    ..find the part of xml I want.. 
    return xml_part2 

def main(index): 
    mylist = [[..,..],[..,..],[..,..],[..,...]] # A huge list of lists with ids I need for calling the APIs 
    myL= mylist[index] c 
    mydic = {} 
    for i in myL: 
     flag1 = xmlpart1(i) 
     flag2 = xmlpart2(i) 
     mydic[flag1] = flag2 

    root = "myfilename %s.json" %(str(index)) 

    with open(root, "wb") as f: 
     json.dump(mydic,f) 

from multiprocessing import Pool 

if __name__=='__main__': 
    Pool().map(main, [0,1,2,3]) 

После нескольких предложений от сюда и из разговора, я заканчиваю с этим кодом. Проблема все еще существует. Я запускаю сценарий в 9:50. В 10:25 в моей папке появился первый файл «myfilename 0.json». Теперь это 11:25, и ни один из других файлов не появился. Подсети имеют равную длину, и они делают то же самое, поэтому им нужно примерно одно и то же время.

Answer 1

Это что-то более подходящее для класса multiprocessing.Pool().

Вот простой пример:

from multiprocessing import Pool 

def job(args): 
    """Your job function""" 


Pool().map(job, inputs) 

Где:

• inputs Ваш список входов. Каждый вход передается на задание и обрабатывается отдельным процессом.

Вы получаете результаты назад как список, когда все задания завершены.

multiprocessing.Pool().map точно так же, как встроенный Python map(), но создает для вас пул процессов для работников и передает каждый вход данной функции.

Смотрите документацию для получения более подробной информации: http://docs.python.org/2/library/multiprocessing.html