Я не уверен, если это так, как в целом (делает логистической регрессии всегда найти глобальный оптимум)Ли логистическая регрессия всегда находит глобальный оптимум, предполагая, что оптимизация сходится?
и, в частности, (делает логистической регрессии всегда найти глобальный оптимум, когда что оптимизация сходится)
СООБЩЕНИЕ
Когда данные разделяются, оптимум находится на бесконечности, поэтому вы никогда не достигнете его. Однако, как правило, любой алгоритм оптимизации, который вы используете, достигнет точки, из которой невозможно добиться заметного улучшения путем повторного итерации.
Соответственно настроенный алгоритм в конечном итоге найдет глобальный оптимум, если это не так, поскольку функция потерь равна convex.
Спасибо, не могли бы вы объяснить, почему он находит глобальный оптимум, потому что функция потерь является выпуклой? – Fredrik
Выпуклые (вогнутые) функции имеют только один минимум (максимум). Итеративные алгоритмы оптимизации, такие как градиентный спуск или метод Ньютона, часто используемые для логистической регрессии, поиск направлений в пространстве, в которых объектная функция уменьшается (увеличивается). Поэтому они, в конечном счете, столкнутся с оптимальным, при условии, что шаг обновления достаточно мал. Я добавил ссылку. – broncoAbierto