python multprocessing slow

Question

У меня есть код, который распараллеляет вызовы функции. Внутри функции я проверяю, существует ли файл, если нет, тогда я его создаю, иначе я ничего не делаю.

Я нахожу, что если файлы существуют, то вызов multiprocessing.process имеет довольно большое временное ограничение по сравнению с простым циклом цикла. Ожидается ли это или есть что-то, что я могу сделать, чтобы уменьшить штраф?

def fn(): 
    # Check if file exists, if yes then return else make the file 
    if(not(os.path.isfile(fl))): 
     # processing takes enough time to make the paralleization worth it 
    else: 
     print 'file exists' 


pkg_num = 0 
total_runs = 2500 
threads = [] 

while pkg_num < total_runs or len(threads): 
    if(len(threads) < 3 and pkg_num < total_runs): 
     t = multiprocessing.Process(target=fn,args=[]) 
     pkg_num = pkg_num + 1 
     t.start() 
     threads.append(t) 
    else: 
     for thread in threads: 
      if not thread.is_alive(): 
       threads.remove(thread) 

Answer 1

Там изрядные немного накладные расходы для воспитывающих процессов - вы должны взвесить издержки создания этих процессов против преимущества в производительности, которые вы получите от решений задач одновременно. Я не уверен, что есть достаточно преимуществ для простого вызова ОС, чтобы он был полезен.

Кроме того, для будущих поколений вы должны действительно проверить concurrent.futures.ProcessPoolExecutor; путь, путь чище. Если вы используете 2.7, вы можете вернуть его обратно.