Выбор атрибута для ID3 при наличии более 2 классов

Question

Обычно мы обсуждаем выбор атрибутов в ID3 ​​с наибольшим коэффициентом усиления информации, исходя из предположения, что существуют два класса: положительный класс и отрицательный класс. Тем не менее, я просто встречаю проблему, когда есть три класса. Как применить алгоритм выбора атрибутов для случая трех классов?

Answer 1

Для удобства в многих книгах обсуждается только вычисление I (p, n). Если имеется более 2 классов, мы можем вычислить I (c1, ..., cn) = - C1 * logC1-C2 * logC2 ..., а C1 - доля элементов класса 1.