Memory-Mapping замедляется во времени, альтернативы?

Question

У меня около 700 матриц, хранящихся на диске, каждая из которых содержит около 70 тыс. Строк и 300 столбцов.

Я должен загрузить части из этих матриц относительно быстро, около 1 тыс. Строк на матрицу, в другую матрицу, которую у меня есть в памяти. Самый быстрый способ, которым я нашел это, - использовать карты памяти, где изначально я могу загрузить 1k строк примерно за 0,02 секунды. Однако производительность не совсем согласована, и иногда загрузка занимает до 1 секунды на каждую матрицу!

Мой код выглядит следующим образом грубо:

target = np.zeros((7000, 300)) 
target.fill(-1) # allocate memory 

for path in os.listdir(folder_with_memmaps): 
    X = np.memmap(path, dtype=_DTYPE_MEMMAPS, mode='r', shape=(70000, 300)) 
    indices_in_target = ... # some magic 
    indices_in_X = ... # some magic 
    target[indices_in_target, :] = X[indices_in_X, :] 

С линией по времени линии я решил, что это, безусловно, последняя строка, которая замедляет течение долгого времени.

---

Upadte: Заговор время загрузки дает различные результаты. Одно время это выглядело так, то есть деградация не была постепенной, а вместо этого прыгала после 400 файлов. Может ли это быть пределом ОС?

Но в другой раз он выглядел совсем иначе:

После нескольких тестовых прогонов, кажется, что второй участок является довольно типичным для развития производительности.

---

Кроме того, я попытался del X после цикла, без какого-либо влияния. Также не удалось получить доступ к базовому Python mmap через X._mmap.close().

---

Любые идеи относительно того, почему существует несогласованная производительность? Существуют ли более быстрые альтернативы для хранения & для получения этих матриц?

Answer 1

Жесткие диски плохо "обслуживают более одного мастера" - замедление может быть намного больше, чем можно было бы ожидать. Чтобы продемонстрировать, я использовал этот код для чтения файлов резервных копий (около 50 МБ каждый) на жестком диске моего Ubuntu 12.04 машины:

import os, random, time 

bdir = '/hdd/backup/' 
fns = os.listdir(bdir) 

while True: 
    fn = random.choice(fns) 
    if not fn.startswith("duplicity-full."): 
    continue 
    ts = time.time() 
    with open(bdir+fn, 'rb') as f: 
    c = f.read() 
    print "MB/s: %.1f" %(len(c)/(1000000*(time.time()-ts))) 

Запуск одного из этих «процессов» дает мне достойную производительность чтения:

MB/s: 148.6 
MB/s: 169.1 
MB/s: 184.1 
MB/s: 188.1 
MB/s: 185.3 
MB/s: 146.2 

Добавление второго такого процесса параллельно замедляет более, чем на порядок:

MB/s: 14.3 
MB/s: 11.6 
MB/s: 12.7 
MB/s: 8.7 
MB/s: 8.2 
MB/s: 15.9 

Моя догадка это (то есть, другое использование HDD) является причиной для inconsis палатка выступление. Моя догадка - это SSD, который будет намного лучше. Для моей машины для больших файлов на SSD замедление из-за параллельного процесса чтения было всего лишь в два раза: от примерно 440 МБ/с до 220 МБ/с. (См. Мой комментарий.)

Answer 2

Возможно, вы можете использовать bcolz. Он сжимает числовые данные на диске и в памяти, чтобы ускорить работу. Возможно, вам придется транспонировать матрицы, чтобы получить разреженное чтение, поскольку bcolz хранит вещи по столбцам, а не по строке.