как найти суррогат не выпуклой функции

Question

Я занимаюсь изучением ранга. Я обнаружил, что некоторые функции потерь, например, потеря 0/1, не могут быть непосредственно минимизированы как невыпуклыми, так и разрывными и т. Д. Это true в случае других функций потерь.

Таким образом, исследователи используют другую функцию потерь, называемую «выпуклым суррогатом», которая «ограничивает» потерю типа 0/1, и они пытаются свести к минимуму суррогат функции потерь, чтобы найти параметры (если я понимаю справедливо).

Вопрос в этом заключается в том, что какова процедура поиска суррогатной функции при невыпуклой функции потерь?

где я могу прочитать шаги, которые у меня есть функция с невыпуклыми потерями, и я хочу, чтобы ее суррогатная потеря?

также Как я знаю, что некоторая функция является верхней границей потери 0/1.

и как это сделать?

Answer 1

Разработка хорошей функции суррогата является темой исследования, так как определение такой функции фактически приводит к построению новой модели машинного обучения. Для этого нет «правила» - это исследование. С практической точки зрения вам следует изучить многочисленные существующие функции, поскольку они не «просто популярны» - они просто хороши, хорошо поняты и полезны.

И как вы проверяете, ограничивает ли функция потерь текущую? Вы предоставляете математическое доказательство. У вас есть настоящая потеря l(x,y,p) и суррогат s(x,y,p), и все, что вам нужно сделать, это показать, что l(x,y,p)<=s(x,y,p), поэтому вы предоставляете доказательство неравенства. Опять же, нет ни одного правила, это просто прикладная математика, анализ 101.