Важное значение в классификации

Question

Например: у меня есть 100 книг по 1000 слов каждый. Они принадлежат к разным классам (комедия, драма, ...). Каждый класс состоит из 15 разных книг. Когда я делаю tfidf на своих данных, я получаю значение для каждого слова в книге в контексте всех книг. Я вижу, что книги, принадлежащие одному классу, имеют одинаковые значения tfidf для каждой переменной.

Скажем, драма и комедия довольно похожи. Как я могу сказать, какие слова имеют значение между этими двумя классами? Какие слова я должен изменить в книге, принадлежащей комедии, так что теперь книга принадлежит драме?

Я могу проверить один за другим; но у меня 2000 книг, по 17500 слов каждая; 950 классов. Это займет десятилетие :)

Answer 1

Я бы определенно выполнял парные тесты, то есть один для каждой из 475 * 949 пар классов, которые у вас есть как «важные переменные», может сильно отличаться от случая к случаю. Затем запустите некоторый стандартный алгоритм выбора функций, такой как хи-квадрат или усиление информации. См. http://www.jmlr.org/papers/volume3/forman03a/forman03a.pdf для подробного исследования.

Answer 2

В качестве первого черновика вычислите средний вектор для каждого класса, нормализуйте их до единицы длины и вычислите абсолютные различия.

Это должно дать вам приблизительное указание, какие слова различают два класса.