Как мы увеличиваем разреженность, используя 1-норму веса в функции стоимости по сравнению с использованием 2-мерного веса в той же функции затрат для SVM.Почему 1-нормальная SVM более разреженная, чем 2-нормальная SVM?
Для 1-нормы: Стоимость функции- Minimize ||w||_1
Для 2-нормы: функция затрат - Minimize ||w||_2
он связан с LP-СВМ?
Обратите внимание, что || w || _2 < || w || _1 для того же w, когда 0 < w < 1 (что обычно происходит), поскольку норма L2 измеряет вес.
Именно поэтому || w || _1 - более сложное ограничение, которое приводит к разреженному вектору.
Это не относится к SVM, многие алгоритмы используют регуляции L1 или L2.
Посмотрите на частную производную от потери l_1 относительно некоторого параметра.
Потери постоянны в отношении увеличения веса. Так что увеличение веса должно компенсировать некоторую фиксированную величину ошибки, независимо от того, насколько небольшой вес уже есть.
Сравните это с потерей l2, где шкала штрафов зависит от размера текущего параметра. Так как он приближается к 0, он должен иметь бесконечно малое уменьшение ошибки, чтобы компенсировать штраф регуляризации.