Загрузка Matlab разреженной матрицы, сохраненной с -v7.3 (HDF5) в Python и работающей на нем

Question

Я новичок в python, исходя из Matlab. У меня есть большая разреженная матрица, сохраненная в формате Matlab v7.3 (HDF5). Я до сих пор нашел два способа загрузки в файл, используя h5py и tables. Однако работа над матрицей, кажется, очень медленная после того, как. Например, в MATLAB:

>> whos  
    Name   Size     Bytes Class  Attributes 

    M  11337x133338   77124408 double sparse  

>> tic, sum(M(:)); toc 
Elapsed time is 0.086233 seconds. 

Использование таблиц:

t = time.time() 
sum(f.root.M.data) 
elapsed = time.time() - t 
print elapsed 
35.929461956 

Использование h5py:

t = time.time() 
sum(f["M"]["data"]) 
elapsed = time.time() - t 
print elapsed 

(я отказался ждать ...)

[EDIT]

Основано на комментариях от @bpgergo, я должен добавить, что я попытался преобразовывать результат загруженную в по h5py (f) в numpy массив или scipy разреженный массив в двух следующих способов:

from scipy import sparse 
A = sparse.csc_matrix((f["M"]["data"], f["M"]["ir"], f["tfidf"]["jc"])) 

или

data = numpy.asarray(f["M"]["data"]) 
ir = numpy.asarray(f["M"]["ir"]) 
jc = numpy.asarray(f["M"]["jc"])  
    A = sparse.coo_matrix(data, (ir, jc)) 

, но обе эти операции также очень медленны.

Есть ли что-то, что мне не хватает здесь?

Answer 1

Большинство ваших проблем является то, что вы используете питона sum на том, что эффективно отображенный в памяти массив (т.е. это на диске, а не в памяти).

Прежде всего, вы сравниваете время, затрачиваемое на чтение вещей с диска, на время, необходимое для чтения вещей в памяти. Сначала загрузите массив в память, если вы хотите сравнить с тем, что вы делаете в Matlab.

Во-вторых, встроенный python sum очень неэффективен для массивов numpy. (Или, вернее, итерация через каждый элемент массива numpy независимо происходит очень медленно, что и делает встроенный python sum.) Используйте numpy.sum(yourarray) или yourarray.sum() вместо numpy массивов.

В качестве примера:

(. Использование h5py, потому что я знаком с ней)

import h5py 
import numpy as np 

f = h5py.File('yourfile.hdf', 'r') 
dataset = f['/M/data'] 

# Load the entire array into memory, like you're doing for matlab... 
data = np.empty(dataset.shape, dataset.dtype) 
dataset.read_direct(data) 

print data.sum() #Or alternately, "np.sum(data)" 

Answer 2

Вы упускаете Numpy http://www.scipy.org/NumPy_for_Matlab_Users

Answer 3

Окончательный ответ для потомков:

import tables, warnings 
from scipy import sparse 

def load_sparse_matrix(fname) : 
    warnings.simplefilter("ignore", UserWarning) 
    f = tables.openFile(fname) 
    M = sparse.csc_matrix((f.root.M.data[...], f.root.M.ir[...], f.root.M.jc[...])) 
    f.close() 
    return M