Binary Feature Extraction

Question

Я новичок в извлечении признаков для обработки естественного языка. Я хочу знать, как я могу использовать hashmap для извлечения функций для текста. Если каждая функция является «ключом» в hashmap, а ее значением является «значение» (все функции двоичные, 0 или 1), означает ли это, что мне нужно иметь n hashmap (n - количество слов в тексте)? Потому что для каждого слова мне нужно извлечь функции.

Я прав?

Спасибо заранее, Алиса

Answer 1

Да, вы можете осуществить это с хэш-карта, однако в зависимости от количества функций и ваших требований к памяти не может быть лучшим или быстрым структуры данных, это действительно зависит от ваш домен. Как правило, представление объектов как присутствующих или нет приведет к плохим результатам. Лучшим методом является использование TF-IDF при взвешивании ваших функций.

Подход, о котором вы говорите, - это подход «сумка слов». Это означает, что вы подписываете базу документов на границах слов и используете слова как функции. В качестве первого прохода вы должны удалить стоп-слова (т.е. «a», «и», «the»), а затем нормализовать свои данные (т.е. Now == now == nOw). Затем вы можете выполнить слово, чтобы уменьшить размер вашего вектора.

Хороший способ занижать сейчас, чтобы извлечь функции, - это посмотреть на MALLET. У меня очень простая реализация Naive Bayes с синтаксическим анализатором для RCV-1, который вы можете посмотреть на примере Naive Bayes