Автоматизация процесса идентификации слухов

Question

Currenlty, что мы делаем, проверьте обсуждение пользователей на основе некоторых ключевых слов в социальных сетях. Согласно обнаружению ключевых слов, мы определяем, что это может случиться.

подхода к автоматизации процесса:

1. слова на основе: проверочный разговор для ключевых слов на основе 1-2 грамма. Если присутствует ключевое слово, обозначающее его как предполагаемый разговор
2. Основанный на классификаторе подход: Обучение классификатора с некоторыми предварительно отмеченными подозрительными цепочками. Который когда-либо классифицировался с вероятностью> 50%, отмеченный как подозреваемый.

Для второго подхода я думаю о наивном классификаторе заливов и идентифицирую результат с точностью, напоминанием, значением меры F, используя scikit learn.

Есть ли лучший подход к этому? Или какая-то модель, которая может быть сочетанием обоих подходов?

Answer 1

Нет причин, чтобы оба подхода были взаимоисключающими. Если вы все равно будете определять ключевые слова, вы можете легко извлечь функцию для машинного обучения. И если вы занимаетесь машинным обучением, вы можете также включить функции, которые захватывают то, что вы знаете о ключевых словах, которые вы идентифицировали.

Есть ли причина, по которой вы выбрали модель Naive Bayes? Вы можете попробовать несколько моделей для сравнения их производительности. Ваше утверждение о «идентификации результата с точностью, напоминанием, F-мерой» заставляет вас понять, что вы не понимаете, как вы делаете прогнозы с помощью модели машинного обучения. Эти три показателя являются результатом сравнения предсказаний модели с метками «золотой стандарт» в ряде текстов. Я бы рекомендовал прочитать введение в машинное обучение. Если вы уже решили, что хотите использовать scikit-learn, то, возможно, вы могли бы проработать их учебник here. Другая библиотека python, на которую стоит обратить внимание, это nltk, в которой есть бесплатная компаньонка here.

Если python не ваш предпочтительный язык, то есть много других вариантов. Например, weka - хорошо известный инструмент, написанный в java. Он имеет очень удобный графический интерфейс для основных функций, но его также нетрудно использовать из командной строки.

Удачи вам!