Может ли модель иметь как высокую предвзятость, так и высокую дисперсию? Переопределение и подкрепление?

Question

Как я понимаю, при создании контролируемой модели обучения наша модель может иметь высокую предвзятость, если мы делаем очень простые предположения (например, если наша функция является линейной), что заставляет алгоритм пропустить отношения между нашими функциями и целевым выходом, что приводит к ошибки. Это недооценивает.

С другой стороны, если мы сделаем наш алгоритм слишком сильным (много полиномиальных функций), он будет очень чувствителен к небольшим колебаниям нашего набора тренировок, вызывающим ovefitting: моделирование случайного шума в данных обучения, а не предполагаемое выходы. Это перерабатывает.

Это имеет смысл для меня, но я слышал, что модель может иметь как высокую дисперсию и высокую предвзятость, и я просто не понимаю, как это будет возможно. Если высокая предвзятость и высокая дисперсия являются синонимами для подфиксации и переобучения, то как вы можете переопределить и подкрепить на одной и той же модели? Является ли это возможным? Как это может случиться? Как это выглядит, когда это происходит?

Answer 1

Представьте проблему с регрессией. Я определяю классификатор, который выводит максимум целевой переменной, наблюдаемой в данных обучения, для всех возможных входов.

Эта модель является одновременно предвзятой (может представлять только выходной сигнал, независимо от того, насколько богата или изменена входная мощность) и имеет высокую дисперсию (максимальный набор данных будет демонстрировать большую изменчивость между наборами данных).

Вы правы в определенной степени, что предвзятость означает, что модель, скорее всего, подстроится, а дисперсия означает, что она подвержена переобучению, но они не совсем одинаковы.

Answer 2

Можете ли вы указать, где вы узнали об этом?

Оба комплектации и переоборудования являются по существу характеристиками вашей модели в отношении вашего учебного набора. Таким образом, модель может быть подкреплена и переоснащена в то же время только для разных наборов тренировок в соответствии с моим пониманием.