Почему линейная регрессия называется «линейной»?

Question

Просто глупое сомнение, почему оно называется «линейным». Это из-за степени полиномиальной функции, используемой в регрессии, или потому, что у нас есть 1 результат для прогнозирования или какая-то другая причина. Я новичок в ML. Поиск Google не нашел ответа.

Answer 1

Линейная регрессия называется линейной, потому что модель вашей выходной переменной (назовем ее f(x)) в виде линейной комбинации входов и весов (назовём их x и w соответственно). А именно

f(x) = < w, x > + b = SUM w_i x_i + b 

С строгой математической точки зрения эти модели должны называться аффинные модели, из-за существования смещения (b срока, который не должен иметь место в линейном преобразовании), но в силу исторических причин, почему мы используем имя linear вместо.

Вы можете рассмотреть линейную регрессию на вершине нелинейного преобразования данных, но это только семантическое трюк, так же эффективно, это то линейная регрессия трансформируются данных, а не сам по себе (данные с точки зрения данных установленная регрессия не является линейной). С математической точки зрения важно, чтобы линейность сохранялась по. к тому, что вы оптимизируете, поэтому с точки зрения w. Так что, если вы считаете

f(x) = <w, g(x)> + b 

Вы все еще можете назвать его линейной регрессии (как линейный WRT. К w), но это уже не линейная регрессия применяется к x, но применительно к g(x).

Answer 2

Ссылаясь на this Ответ Я думаю, что это касается параметров theta. Даже если ссылка вики на Linear Regression начинается со следующим утверждением:

Учитывая набор данных из п статистических единиц, линейная регрессия модель предполагает, что связь между зависимой переменной уг и п-вектором регрессор х является линейным.

Однако после того, как пару строк они упоминают:

Иногда один из регрессоров может быть нелинейной функцией другого регрессора или данных, как в полиномиальной регрессии и сегментированным регрессии. Модель остается линейной, если она линейна по вектору параметра β.

Так что, я думаю, линейность не в терминах x, а в параметрах.