Взвешенные деревья принятия решений с использованием Entropy

Question

Я строю дерево двоичной классификации, используя mutual information gain как функцию разделения. Но поскольку данные обучения искажены по нескольким классам, рекомендуется взвешивать каждый пример обучения с помощью частоты обратного класса.

Как я могу весовать данные обучения? При вычислении вероятностей оценки энтропии я беру средневзвешенные значения?

EDIT: Я бы хотел выразить энтропию с весами.

Answer 1

Государственное значение взвешенной энтропии в качестве меры инвестиционного риска.
http://www56.homepage.villanova.edu/david.nawrocki/State%20Weighted%20Entropy%20Nawrocki%20Harding.pdf

Answer 2

Статья в Википедии, которую вы указали, относится к весу. Это говорит:

Весовые варианты
В традиционной формулировке взаимной информации,

каждое событие или объект задается (х, у), взвешенные по соответствующей вероятности р (х, у). Это предполагает, что все объекты или события эквивалентны, кроме вероятности их появления. Однако в некоторых приложениях может быть, что некоторые объекты или события более значительны, чем другие, или что некоторые шаблоны ассоциаций более семантически важны, чем другие. Например, детерминированное отображение {(1,1), (2,2), (3,3)} можно рассматривать как более сильное (по некоторому стандарту), чем детерминированное отображение {(1,3), (2,1), (3,2)}, хотя эти отношения будут давать одинаковую взаимную информацию. Это связано с тем, что взаимная информация вообще не чувствительна к какому-либо внутреннему упорядочению в переменных значениях (Cronbach 1954, Coombs & Dawes 1970, Lockhead 1970) и поэтому не чувствителен вообще к форме реляционного сопоставления между связанными переменными , Если желательно, чтобы первое отношение - показ соглашения по всем переменным значениям - судить сильнее, чем позднее отношение, то можно использовать следующую взвешенную взаимную информации (Guiasu 1977)

, какие места вес w (x, y) от вероятности каждого совпадения переменных значений p (x, y). Это позволяет предположить, что определенные вероятности могут иметь более или менее значимое значение, чем другие, что позволяет количественно определить соответствующие целостные или prägnanz факторы. В приведенном выше примере использование больших относительных весов для w (1,1), w (2,2) и w (3,3) привело бы к оценке большей информативности для отношения {(1,1), (2,2), (3,3)}, чем для отношения {(1,3), (2,1), (3,2)}, что может быть желательно в некоторых случаях распознавания образов и т.п.

http://en.wikipedia.org/wiki/Mutual_information#Weighted_variants