Многопоточная/параллельная обработка

Question

У меня есть несколько сотен входных файлов, которые мне нужно передать функции для вычисления некоторых чисел и записать их в выходной файл. Функция не возвращает никакого значения. Таким образом, каждый вызов функции является независимым.

Вместо вызова функции последовательно, я пробовал многопроцессорную обработку, а производительность (время выполнения) не намного лучше. Любые предложения по повышению эффективности ценны. Даже многопроцессорный путь для решения этой проблемы?

import multiprocessing as mp 
NumProcess = 4 

def Analysis(InputFile): 
    #do some calcs 
    #Write results to output file 
    #return nothing 

FileList = ['InputFile1.csv','InputFile2.csv','InputFile3.csv',....] 
pool = mp.Pool(processes=NumProcess) 
temp = [pool.apply_async(Analysis, args=(File) for File in FileList] 
output = [p.get() for p in temp] 
pool.close() 

Answer 1

Выполняется ли звонок по взаимному соединению? В этой строке есть ошибка, так как вы не передаете аргумент File как кортеж вообще.

Исправленная версия (обратите внимание на Запятую для обеспечения арг является кортежем):

temp = [pool.apply_async(Analysis, args=(File,)) for File in FileList]