Ошибка памяти Python - огромные входные данные Sklearn?

Question

Мне нужно обучить классификатор svm в sklearn. Размеры векторов признаков идут сотнями тысяч, и есть десятки тысяч таких векторов признаков. Однако каждый размер может быть 0, 1 или -1. Только около 100 отличных от нуля в каждом объекте. Любой эффективный способ предоставить информацию об объектных векторах в классификатор?

Answer 1

Мне нужно обучить классификатор svm в sklearn.

Вы имеете в виду sklearn.svm.SVC? Для высокоразмерных разреженных данных и многих образцов LinearSVC, LogisticRegression, PassiveAggressiveClassifier или SGDClassifier может быть намного быстрее, чтобы тренироваться для сопоставимой точности прогноза.

Размеры вектора признаков идут в lakhs, и есть десятки тысяч таких векторов признаков. Однако каждый размер может быть 0, 1 или -1. Только около 100 отличных от нуля в каждом объекте. Любой эффективный способ предоставить информацию об объектных векторах в классификатор?

Найти способ загрузки данных в виде матрицы scipy.sparse, которая не хранит нули в памяти. Посмотрите на documentation on feature extraction. Это даст вам инструменты для этого, в зависимости от характера представления исходных данных.