Многопроцессорность медленнее, чем последовательная с python

Question

Я потратил немало времени на переписывание своего кода, чтобы использовать больше ядер, но когда я сравнивал его, я обнаружил, что все, что я достиг, делал это в 7 раз медленнее исходного кода, несмотря на то, что он работает на 16 ядрах, а не на одном! Это заставляет меня думать, что я должен делать что-то неправильно.

Код 4000+ строк и требует много довольно тяжелых входных файлов, поэтому я не собираюсь публиковать что-то, что воспроизводит проблему. Однако я могу сказать, что функция, которую я вызываю, обычно занимает 0,1 с для запуска и вызывает некоторые библиотеки c с использованием ctypes. Кроме того, в память поступает довольно много данных - возможно, 1 МБ? Некоторые псевдо-код, который выглядит как медленный бит:

def AnalyseSection(Args): 
     Sectionsi,SectionNo,ElLoads,ElLoadsM,Materials,CycleCount,FlapF,EdgeF,Scaling,Time,FlapFreq,EdgeFreq=Args 
     for i in range(len(Sections[Elements])): 
      #Do some heavy lifting with ctypes 
     return Result 

    for i in range(10): 
     for j in range(10): 
      for k in range(10): 
       Args=[(Sections[i],SectionList[i],ElLoads,ElLoadsM,Materials,CycleCount,FlapF,EdgeF,Scaling,Time,FlapFreq,EdgeFreq) for n in SectionList] 
       pool=mp.Pool(processes=NoCPUs,maxtasksperchild=1) 
       result = pool.map(AnalyseSection,Args) 
       pool.close() 
       pool.join() 

Я надеялся, что кто-то мог заметить очевидную ошибку, которая вызывает его работать так гораздо медленнее? Для выполнения функции требуется некоторое время (обычно 0,1 с для каждого вызова), поэтому я не думаю, что накладные расходы, связанные с многопроцессорной обработкой, могут значительно замедлить его. Любая помощь будет высоко ценится!

Answer 1

Это

for i in range(10): 
    for j in range(10): 
     for k in range(10): 
      Args=[(Sections[i],SectionList[i],ElLoads,ElLoadsM,Materials,CycleCount,FlapF,EdgeF,Scaling,Time,FlapFreq,EdgeFreq) for n in SectionList] 
      pool=mp.Pool(processes=NoCPUs,maxtasksperchild=1) 
      result = pool.map(AnalyseSection,Args) 
      pool.close() 
      pool.join() 

могут и должны быть преобразованы в этот

pool=mp.Pool(processes=NoCPUs) 

for i in range(10): 
    for j in range(10): 
     for k in range(10): 
      Args=[(Sections[i],SectionList[i],ElLoads,ElLoadsM,Materials,CycleCount,FlapF,EdgeF,Scaling,Time,FlapFreq,EdgeFreq) for n in SectionList] 
      result = pool.map(AnalyseSection,Args) 

pool.join() 

Это больше в соответствии с тем, что вы пытаетесь достичь. У вас есть многопроцессорный пул, в котором вы подаете данные и ожидаете результатов. Вам не нужно запускать/останавливать пул на каждой итерации.

Имейте в виду, что при запуске обрабатывается (намного больше, чем потоки, если вы используете потоки).