AdaBoosting с несколькими различными базовыми оценками сразу

Question

Я знаю, что вы можете AdaBoost с несколькими экземплярами одной модели (например, 600 деревьев принятия решений, байесовских риджей или линейных моделей). Возможно ли использовать AdaBoost с перчаткой моделей одновременно и как?

AdaBoost([DecisionTree, BayesianRidge, LinearRegressor, ...]) 

Каждая автономная модель имеет свои плюсы и минусы, и мне было интересно, если это было возможно, чтобы размять их все вместе под зонтиком.

Answer 1

Поскольку AdaBoost отделен от реализации слабого классификатора: Да, вы можете. Эти архитектуры называются гибридных ансамблей. Однако это не всегда необходимо, так как AdaBoost требует, чтобы слабые классификаторы были немного лучше, чем случайные. Таким образом, достаточно часто иметь однородный ансамбль классификаторов. В конце концов, вам придется протестировать его для своего сценария, если он даст вам повышение производительности.