Словарь 4-D numpy массива: как оптимизировать?

Question

У меня возникла проблема выполнения инициализации словаря четырехмерного тензора.

У меня есть список имен коэффициентов:

cnames = ['CN', 'CM', 'CA', 'CY', 'CLN' ...]; 

, не фиксированный размер (это зависит от верхнего кода). Для каждого коэффициента я должен генерировать тензор 4-D [nalpha Х nmach Х nbeta Х NALT] нулей (для целей предраспределения), так что я:

#Number of coefficients 
numofc = len(cnames); 

final_data = {}; 
#I have to generate <numofc> 4D matrixes 
for i in range(numofc): 
    final_data[cnames[i]]=n.zeros((nalpha,nmach,nbeta,nalt)); 

каждый индекс представляет собой целое число от 10 до 30. каждый индекс представляет собой целое число от 100 до 200

Это занимает 4 минуты. Как я могу ускорить это? Или я делаю что-то неправильно?

Answer 1

Код, который вы отправили, не должен занимать 4 минуты (за исключением случаев, когда cnames является чрезвычайно большим или у вас очень мало ОЗУ и он вынужден использовать пространство подкачки).

import numpy as np 

cnames = ['CN', 'CM', 'CA', 'CY', 'CLN']*1000 
nalpha,nmach,nbeta,nalt = 10,20,30,40 
#Number of coefficients 
numofc = len(cnames) 

final_data = {} 
#I have to generate <numofc> 4D matrixes 
for i in range(numofc): 
    final_data[cnames[i]]=np.zeros((nalpha,nmach,nbeta,nalt)) 

Даже если cnames имеет 5000 элементов, то все равно должны принимать только порядка пары секунд:

% time test.py 
real 0m4.559s 
user 0m0.856s 
sys 0m3.328s 

с запятой в конце заявления предполагает, у вас есть опыт в каком-то другом языке. Будьте осторожны с переводом команд из этого языка по строкам в NumPy/Python. Кодирование в NumPy, как и в C, является рецептом медленности.

В частности, старайтесь избегать обновления элементов в элементе-элементе массива. Это отлично работает на C, но с Python работает очень медленно. NumPy достигает скорости, делегируя функции, закодированные в Fortran или Cython или C или C++. При обновлении массивов по элементам вы используете петли Python, которые не так быстро.

Вместо этого попробуйте перефразировать вычисления в терминах операций на всех массивах (или, по крайней мере, срезах массивов).

Я, вероятно, слишком много размышлял о причине проблемы. Вам нужно profile your code, а затем, если вы хотите получить более конкретную помощь, опубликуйте результат профиля плюс проблемный код (наиболее полезно в виде SSCCE).