Я читаю книгу Юрафского для НЛП, и он упоминается для обучения MaxEnt, нам нужно регулировать вес, чтобы предотвратить переобучение. Но я не понимаю, почему это происходит. Может ли кто-нибудь объяснить, как переобучение происходит во время обучения, если мы не используем регуляризацию?Почему мы нуждаемся в регуляризации обучения MaxEnt?
Я не читал эту конкретную книгу, но, будучи практиком машинного обучения, могу сказать вам, что переоснащение возможно с любым типом модели. MaxEnt не будет исключением.
Вопрос, который вы, вероятно, должны задавать, заключается в следующем: «Что такое переопределение и что его вызывает?»
Отъезд: Distinguishing overfitting vs good prediction
переобучения, как правило, происходит, когда вы пытаетесь оценить слишком может коэффициенты, или в более общем случае иметь модель, которая является слишком гибким, учитывая количество обучающих данных, с которыми вы работаете. В результате ваша модель будет «изучать» шум в данных, снижая его прогностическую точность вне образца.
Есть два способа борьбы с переобучением. Либо (1) получить больше данных обучения, либо (2) уменьшить сложность вашей модели. Регуляризация относится к категории (2) и работает путем наказания «сложных» решений, тем самым уменьшая дисперсию. Что означает «сложный», отличается в зависимости от типа модели.
Существует множество материалов по переработке и регуляризации в Интернете и в учебниках по учебным материалам ML. Если вы хотите получить доступное объяснение, я бы рекомендовал «Изучение данных» Абу-Мостафа.