Как эффективно преобразовать Gensim corpus в массив numpy (или scipy разреженной матрицы)?

Question

Предположим, у меня есть (возможно) большой корпус, около 2,5 М из них с 500 функциями (после запуска LSI по исходным данным с gensim). Мне нужен корпус для обучения моих классификаторов с помощью scikit-learn. Тем не менее, мне нужно сначала преобразовать корпус в массив numpy. Тренер создания и классификатора корпуса выполняется в двух разных сценариях.

Таким образом, проблема заключается в том, что размер моей коллекции, как ожидается, будет расти, и на этом этапе у меня уже недостаточно памяти (32 ГБ на машине), чтобы конвертировать все сразу (с gensim.matutils.corpus2dense). Чтобы обойти проблему, я конвертирую один вектор за другим одновременно, но он очень медленный.

Я рассмотрел вопрос о сдаче корпуса в формате svmlight, а также scikit-learn загрузить его sklearn.datasets.load_svmlight_file. Но тогда это, вероятно, означало бы, что мне нужно будет сразу загрузить все в память?

В любом случае я могу эффективно конвертировать из gensim corpus в массив numpy (или scipy редкую матрицу)?

Answer 1

Я не очень знающие о Gensim, поэтому я затрудняюсь ответить, но здесь идет:

Ваши данные не помещаются в памяти, так что вам придется либо поток его (в основном то, что вы делаете сейчас) или вырезать его. Мне кажется, что gensim.utils.chunkize куски его для вас, и вы должны иметь возможность получить плотный массив numpy, который вам нужен, с as_numpy=True. Вам придется использовать модели sklearn, поддерживающие partial_fit. Они обучаются итеративно, по одной партии за раз. Хорошими являются SGD classifier и Passive-Aggressive Classifier. Обязательно передайте аргумент классов, по крайней мере, при первом вызове partial_fit. Я рекомендую прочитать документы на out-of-core scaling.