стек изображений как numpy массив быстрее (чем preallocation)?

Question

Мне часто приходится складывать 2d массивы numpy (tiff images). Для этого я сначала добавлю их в список и использую np.dstack. Это, по-видимому, самый быстрый способ получить 3D-массивы, складывающие изображения. Но есть ли более быстрый/эффективный с точки зрения памяти способ?

from time import time 
import numpy as np 

# Create 100 images of the same dimention 256x512 (8-bit). 
# In reality, each image comes from a different file 
img = np.random.randint(0,255,(256, 512, 100)) 

t0 = time() 
temp = [] 
for n in range(100): 
    temp.append(img[:,:,n]) 
stacked = np.dstack(temp) 
#stacked = np.array(temp) # much slower 3.5 s for 100 

print time()-t0 # 0.58 s for 100 frames 
print stacked.shape 

# dstack in each loop is slower 
t0 = time() 
temp = img[:,:,0] 
for n in range(1, 100): 
    temp = np.dstack((temp, img[:,:,n])) 
print time()-t0 # 3.13 s for 100 frames 
print temp.shape 

# counter-intuitive but preallocation is slightly slower 
stacked = np.empty((256, 512, 100)) 
t0 = time() 
for n in range(100): 
    stacked[:,:,n] = img[:,:,n] 
print time()-t0 # 0.651 s for 100 frames 
print stacked.shape 

# (Edit) As in the accepted answer, re-arranging axis to mainly use 
# the first axis to access data improved the speed significantly. 
img = np.random.randint(0,255,(100, 256, 512)) 

stacked = np.empty((100, 256, 512)) 
t0 = time() 
for n in range(100): 
    stacked[n,:,:] = img[n,:,:] 
print time()-t0 # 0.08 s for 100 frames 
print stacked.shape 

Answer 1

После некоторых совместных усилий с otterb, мы пришли к выводу, что предварительное выделение из массива является путь. По-видимому, узким местом для убийства производительности был макет массива с номером изображения (n), который является самым быстро меняющимся индексом. Если мы п первого индекс массива (который будет по умолчанию упорядочения «C»: первый индекс изменяет медленный, последний индекс изменяется быстро), мы получаем лучшую производительность:

from time import time 
import numpy as np 

# Create 100 images of the same dimention 256x512 (8-bit). 
# In reality, each image comes from a different file 
img = np.random.randint(0,255,(100, 256, 512)) 

# counter-intuitive but preallocation is slightly slower 
stacked = np.empty((100, 256, 512)) 
t0 = time() 
for n in range(100): 
    stacked[n] = img[n] 
print time()-t0 
print stacked.shape