Быстрое выполнение векторизации счетчика

Question

Я ищу реализацию векторизации count n-грамм, которая более эффективна, чем CountVectorizer scikit-learn. Я назвал вызов CountVectorizer.transform() огромным узким местом в немного программного обеспечения и может значительно увеличить пропускную способность модели, если мы сможем сделать эту часть трубопровода более эффективной. Время пригонки не важно, мы занимаемся только временем преобразования. Конечным выходом должен быть вектор scipy.sparse. Если у кого-то есть какие-либо потенциальные альтернативы, это было бы очень признательно.

Answer 1

Вы попробовали HashingVectorizer? Это немного быстрее (до 2X, если я правильно помню). Следующим шагом будет профилировать код, отделить функции CountVectorizer или HashingVectorizer, которые вы не используете и не перезаписываете оставшуюся часть в оптимизированном коде Cython (после профилирования снова).

Функция голосовой обработки Vowpal Wabbit, использующая хеширующий трюк по умолчанию, может дать вам намек на то, что можно достичь.