PyBrain: MemoryError: при загрузке учебного набора данных

Question

Я пытаюсь подготовить нервную сеть с обратной связью для двоичной классификации. Мой набор данных - 6,2 М с размером в 1,5 М. Я использую PyBrain. Я не могу загрузить хотя бы один datapoint. Я получаю MemoryError.

Мой фрагмент кода:

Train_ds = SupervisedDataSet(FV_length, 1) #FV_length is a computed value. 150000 
feature_vector = numpy.zeros((FV_length),dtype=numpy.int) 
#activate feature values 
for index in nonzero_index_list: 
     feature_vector[index] = 1 

Train_ds.addSample(feature_vector,class_label) # both the arguments are tuples 

Answer 1

Похоже, ваш компьютер просто не имеет памяти, чтобы добавить свои характеристики и метки класса массивов поднадзорных набора данных Train_ds.

Если вам не удастся выделить больше памяти для вашей системы, это может быть хорошей идеей для случайной выборки из вашего набора данных и обучения на меньшем образце.

Это должно все же давать точные результаты, предполагая, что образец достаточно велик, чтобы быть репрезентативным.