cPickle: SystemError: возвращаемая ошибка без исключения установить

Question

Хотя демпинг большой матрицы (170000 * 20000) следующим образом

cPickle.dump(train_set,gzip.open('train.pickle.gz','wb'), cPickle.HIGHEST_PROTOCOL) 

Я получаю следующую ошибку:

SystemError: error return without exception set 

Как бы я иметь дело в данном случае?

Answer 1

cPickle не может быть использован для хранения очень больших объектов (см. http://bugs.python.org/issue11564).

У вас есть несколько вариантов:

• разделить данные на куски и хранить его в нескольких файлах
• numpy.save
• h5py < - мой любимый из-за удобного Numpy-подобный интерфейс, а также данные хранятся в hdf5, что позволяет взаимодействовать с другим программным обеспечением/языками.
• pytables