Построение дерева решений

Question

При построении дерева решений на каждом узле мы выбираем лучшую функцию, а затем лучшую позицию разделения для этой функции. Однако, когда все значения для наилучшей функции равны 0 для образцов в текущем узле/наборе, что мне делать? Все образцы сохраняются сгруппированными в одну сторону (ветвь < = 0), и происходит бесконечный цикл. Например:

#left: 1500, #right: 0 

затем,

#left: 1500, #right: 0 

и так далее ...

Просто для справки, я отслеживаю следующий псевдокод.

GrowTree(S) 
if (y_i = C for all i in S and some class C) then { 
return new leaf(C)        
} else { 
choose best splitting feature j and splitting point beta (*) 
I choose the one that gives me the max entropy drop 
S_l = {i : X_ij < beta}       
S_r = {i : X_ij >= beta} 
return new node(j, beta, GrowTree(S_l), GrowTree(S_r)) 

}

Answer 1

Это просто невозможно. Вы должны выбрать порог, который приводит к самому большому числу уверенности модели. Использование порога, который помещает каждый отдельный экземпляр в одну ветвь, дает вам 0 увеличение уверенности в моделях, таким образом, это не лучший раскол. Это должно происходить тогда и только тогда, когда в этой функции примесь/энтропия уже равна 0, но тогда это критерий остановки для создания листьев в дереве решений.