I.e. будет ли выход GD быть приближением к значению, установленному LS, или эти эквивалентные проблемы с одинаковым выходом? Возможно, это зависит от типа регрессии: линейного, логистического и т. Д.?Должен ли градиентный спуск давать точно такой же ответ, как метод наименьших квадратов для установки регрессии?
Прежде всего, не все регрессии являются «наименьшими квадратами», поэтому вопрос имеет смысл только для «регрессии наименьших квадратов», которая (для линейных моделей) преобразуется в линейную регрессию (и гребень/лассо, если мы добавим особые мягкие ограничения).
После того, как это исправлено, мы можем обратиться к основному вопросу - это метод на основе градиента, сходящийся к тому же решению, что и обычный метод наименьших квадратов. Я предполагаю, что под «наименьшими квадратами» вы подразумеваете решение наименьших квадратов замкнутой формы. И ответ «при некоторых предположениях, да». Эти предположения заключаются в следующем:
В то время как первый один относительно легко проверить (есть теоремы, дающие вам хорошие оценки, как быть не более 2/L для функций L-Липшица), остальные два совершенно произвольно - число итераций невозможно определить (однако вы можете показать связь между итерацией и ожидаемой ошибкой), а бесконечная точность ... ну ... невозможна.
Аналогичная вещь неверна для логистической регрессии, так как она даже не имеет закрытого решения формы для начала.