Python - Предварительная обработка большого количества данных изображения - Loop замерзает

Question

У меня есть следующий код в моем Python Script:

def process_data(data): 
    features = [] 

    for i in range(int(len(data))): # Should iterate 33'000 times (length of data) 
     for j in range(3): 
      img = plt.imread(data[i][j].strip()) # Data is from a csv file 
      img = normalize(img) # Simple calculation 

      lis = img.flatten().tolist() 
      features += lis 

return features 

Это должно работать около 33'000 * 3 раза в предобработки всех данных. Однако после примерно 10 000-12 000 итераций сценарий резко замедляется, замерзает, и иногда моя машина (i7 - 3.6GHz, 8GB RAM) замерзает.

Что я могу сделать? Трудно разделить данные. Мне сказали использовать Keras 'fit_generator раньше, но как бы я это сделал?

Answer 1

В зависимости от того, насколько велики эти файлы изображений, вы могли бы иссякнуть из ОЗУ и вынуждены поменяться местами. Это приведет к тому, что ваша система будет вялой. Вместо того, чтобы собирать все обработанные файлы в список, можете ли вы записать их по одному за раз?