Подбор документов с использованием подхода «Мешок слов»

Question

Я хочу сгруппировать документы, которые я получаю для поиска ученого Google, используя модель «Сумка слов». Я думал об использовании Java в качестве языка.

Документы должны быть сгруппированы на основе набора слов, присутствующих в документах. Например, у меня есть предопределенный набор из 10 слов. Я хочу ранжировать результаты поиска Google в соответствии с наличием в них определенных ключевых слов. Должен ли я использовать алгоритм, подобный алгоритму k-mean? Нужно ли мне выполнять задачи НЛП? Может ли кто-нибудь рассказать мне о шагах, чтобы выполнить это?

Answer 1

NLP используется для предварительной обработки текста, прежде чем классифицировать данные.

Препроцессирование как

• POS (часть речи), NE (Named Entity) тип выделения признаков
• Приговор разборе
• текста лексического анализа
• Стоп слова удаление

После того, как вы выполните предварительную обработку данных, ваши данные готовы для классификации, процесса кластеризации.

Теперь вы можете применить k-средний алгоритм для этих данных.

См., Что вы можете прямо применить k-mean в своем случае, если вы не беспокоите обработку данных.