Как создать собственную базу данных спама

Question

Я работаю над проектом, где мне нужно создать базу данных спама и принять заявки от пользователей. Принятие предложений легко, но я пытался выяснить, как оценить эти представления.

Допустим, база данных состоит из слов, и я получаю следующие представления: * 137x «банан» * 22x «яблоко» * 1x «взрываются мышь»

Теперь, есть довольно хороший шанс, что «банан» - это спам-слово. «Яблоко» может быть, но, вероятно, следует рассматривать в сером списке, в то время как «взрывающаяся мышь», вероятно, просто шутка.

У кого-нибудь есть хорошие идеи?

Cheers!

Answer 1

Стандартный метод «байесовский», где вы сравниваете частоты слов в спаме со словом частот в не-спаме (он же «ветчина»). Проблема с этим заключается в том, что люди будут совершенно готовы отправить вам весь свой спам, они вряд ли захотят направить вам свою ветчину.

Одна программа, которая делает это уже называется «богофильтр». Для него есть стандартный пакет Debian.