SVM и нейронные сети - очень популярные методы машинного спуска. Но я читал, что функции оптимизации одного из них выпуклые, а для другого - невыпуклые.Как отличается оптимизация функции затрат в SVM и нейронной сети
Как нейронная сеть включает в себя оптимизацию невыпуклых функций, а SVM включает выпуклую оптимизацию?
Не уверен, что я полностью понял вашу проблему, но в отношении SVM и его представление в виде выпуклой задачи оптимизации - вы могли бы прочитать эту короткую статью: http://www.cs.cmu.edu/~epxing/Class/10701-08s/recitation/svm.pdf
Почему функция затрат ИНС является невыпуклая ответа здесь (особенно хорошо ответ от г. Роланд): https://stats.stackexchange.com/questions/106334/cost-function-of-neural-network-is-non-convex
Спасибо за ответ. Но я искал интуицию за тем, что она выпуклая, а другая - не выпуклая. Как SVM, так и нейронная сеть имеют функции стоимости суммы квадратов ошибок плюс термин регуляризации. Да, ссылки в вашем ответе дают некоторые намеки на это. – prashanth