Как повысить точность классификатора Naive Bayes?

Question

Я использую классификатор Наивного Байеса. После этого tutorial. Для подготовленных данных я использую 308 вопросов и классифицирую их по 26 категориям, которые помечены вручную. Перед отправкой данных я выполняю NLP. В NLP я выполняю (удаление пунктуации, токенизацию, удаление и удаление стоп-слова) Эти отфильтрованные данные используются для ввода mahout. Используя mahout NBC, я тренирую эти данные и получаю файл модели. Теперь, когда я запускаю

mahout testnb 

команда, которую я получаю правильно подобранные экземпляры как 96%.

Теперь для моих тестовых данных я использую 100 вопросов, которые я указал вручную. И когда я использую обученную модель с тестовыми данными, я получаю Правильно классифицированные экземпляры как 1%. Это меня разозлило.

Может кто-нибудь предложить мне, что я делаю неправильно или предложить мне некоторые способы увеличить производительность NBC.?

Кроме того, в идеале, сколько данных вопросов я должен использовать для обучения и тестирования?

Answer 1

Это, по-видимому, классическая проблема "overfitting" ... где вы получаете очень высокую% точности на тренировочном наборе, но низкий% в реальных ситуациях.

Вам, вероятно, потребуется больше учебных примеров. Кроме того, существует вероятность того, что 26 категорий не будут соответствовать вашим функциям. Машиноведение не является магическим и требует какой-то статистической взаимосвязи между переменными и результатами. Фактически, что NBC может делать здесь, это фактически «запоминание» набора тренировок, который совершенно бесполезен для вопросов вне памяти.