Зачем использовать несколько функций в линейной регрессии?

Question

Линейная регрессия определяет, что Y является функцией X. Используя эту функцию, можно предсказать Y, используя значения X до их возникновения (игнорируя выбросы).

Унилинейная линейная регрессия зависит только от одной переменной. Но более мощная форма - многовариантная линейная регрессия, где вместо использования только одного параметра: X, используйте несколько параметров. Это невозможно визуализировать на плоскости X, Y, возможно, можно представить 3 параметра, но 4,5,6 параметров (размеров) не могут.

Идея состоит в том, что с большим количеством параметров даст лучшее предсказание. В чем заключается основа этого? Почему использование нескольких функций улучшает качество прогноза? Интуитивно я понимаю, что чем больше известно о проблеме, тем более точным может быть предсказание. Но почему добавление дополнительных функций, или, другими словами, увеличивает точность функции? Существует ли формальное определение этого?

Или это просто пробная версия и ошибка - одной функции может быть достаточно, но она не будет знать точно до тестирования с несколькими функциями.

Answer 1

Формальное доказательство очень простое. Характер вашего отображения f не может быть выражен как функция ваших функций. Вы можете получить только некоторое приближение и добавить больше переменных всегда расширить пространство возможных аппроксиматоров (если быть более строгим - никогда не уменьшает). Хотя на самом деле это может быть сложнее, чтобы найти хороший аппроксиматор в этом новом пространстве (и поэтому все известные алгоритмы не удастся), всегда будет больше шансов, что существует . В общем случае - если вы можете создать идеальный набор функций, например .... сами выходные значения, то добавление чего-либо приведет к фактическому снижению качества модели. Но в реальной жизни - мы, как люди, - не способны найти таких хороших предикторов, и поэтому мы слепо следим за тем, что можно получить, измеренными от реальности, и как простое случайное догадки - каждая дополнительная информация может быть полезной.

Если вы предпочитаете более математическое решение, рассмотреть f является функцией неизвестного множества функций

f(x1, ..., xm) e R 

теперь вы можете измерить особенности в некотором бесконечном пространстве исходных сигналов r1, r2, ..., и для каждого подмножества исходных сигналов там является отображением на эти истинные признаки f, но с различной степенью корректности, поэтому у вас есть g1(r1, r2, r3) = (x1+er1, 0, x3+er3, ...); g2(r1) = (0, 0, x3+er4, ...) и т. д. Вы пытаетесь построить функцию из некоторого конечного поднабора необработанных сигналов в R, который будет приблизительно f, поэтому большее количество r вы включите, у вас больше шансов c захват таких элементов, что сделает возможным приближение f. К сожалению, вы можете добавить много избыточных сигналов или те, которые полностью не соответствуют истинным функциям. Это может рассматриваться как большая проблема смещения смещения. Чем больше функций вы добавляете, предполагая, что вы делаете это во всем спектре возможных сигналов (и поэтому вы действительно можете найти что-то действительно связанное с природой f), тем больше дисперсии вы представите. А с другой стороны - малый набор функций приводит к высокой ошибке смещения (из-за сильных предположений о требуемых сигналах и их корреляциях с истинными функциями).

В частности, линейная регрессия плохо подходит для работы с высококоррелированными сигналами, поэтому для этой конкретной статистической модели добавление новых сигналов может быстро привести к разрушению вашей модели.Существует сильное базовое допущение LR, что f является линейной моделью всех ваших предикторов до нормально распределенных ошибок с равными отклонениями между каждым измерением.

Answer 2

Просто добавлю, что сказал @lejlot, я бы сказал, что все большее число функций не всегда увеличит вероятность моделирования правильной модели регрессии, так как есть шансы переобучения модели обучения. Скорее находят функции, которые независимы друг от друга и по-прежнему способствуют общей модели.

Я хотел бы предложить эту конкретную должность, чтобы понять больше о линейной регрессии и как больше возможностей помогают:

http://cs229.stanford.edu/notes/cs229-notes1.pdf