Параллельная обработка большого количества заданий

Question

У меня есть 10 000 файлов csv, которые я должен открыть в Pandas, и манипулировать/преобразовывать с помощью некоторых функций Pandas и сохранять новый вывод в csv. Могу ли я использовать параллельный процесс (для Windows), чтобы сделать работу быстрее? Я попытался следующие, но не повезло:

import pandas pd 
import multiprocessing 

def proc_file(file): 
    df = pd.read_csv(file) 
    df = df.reample('1S', how='sum') 
    df.to_csv('C:\\newfile.csv') 
if __name__ == '__main__':  
    files = ['C:\\file1.csv', ... 'C:\\file2.csv'] 

    for i in files: 
     p = multiprocessing.Process(target=proc_file(i)) 
    p.start() 

Я не думаю, что у меня есть хорошее понимание многопроцессорной в Python.

Answer 1

Убедитесь, чтобы закрыть бассейн и позже:

import multiprocessing 

# Maximum number of cpus to use at a time 
max_threads = multiprocessing.cpu_count() - 1 

pool = multiprocessing.Pool(max_threads) 
list_files = pool.map(func,list_of_csvs) 
pool.close() 
pool.join() 

list_files может содержать список, например, вы можете вернуть имя измененного csv из func()

Answer 2

Может быть что-то вроде этого:

p = multiprocessing.Pool() 
p.map(prof_file, files) 

Для такого размера, что вам действительно нужно пул процесса, так что стоимость запуска процесса компенсируется работой он делает. multiprocessing.Pool делает именно это: он преобразует параллелизм задач (это то, что вы делали) в task parallelism.