Как изменить метод сглаживания классификатора Naive Bayes в NLTK?

Question

Я подготовил классификатор спама с использованием метода NLTK Наивный Байес. Набор спама, а не спам, содержит 20 000 экземпляров слов в процессе обучения.

я заметил, что при столкновении с неизвестными функциями, то classifier дает ему 0.5 вероятность спама:

>>> print classifier.prob_classify({'unkown_words':True}).prob('spam') 
0.5 

Я знаю, что это называется Laplace Smoothing в классификации Байеса. Тем не менее, я хочу установить вероятность спама unknown features на 0.4, потому что неизвестные функции, скорее всего, от обычных пользователей. Как я могу реализовать его с помощью NLTK?

Answer 1

Я нашел действительно простой способ решить эту проблему.

Я выбрал 12 000 учетных записей спама и 18 000 обычных учетных записей для повторного обучения классификатору Naive Bayes. Доля спама и обычных счетов составляет 0,4/0,6.

Таким образом, когда классификатор получает неизвестную функцию обучающего набора, это дает 0,4 вероятность спама:

In [23]: classifier.prob_classify({'unknown_words': True}).prob('spam') 
Out[23]: 0.40000333322222587