Конъюгатный градиент с шумной функцией

Question

ОК, поэтому я использую RMS prop или SGD, чтобы получить нейронную сеть, чтобы узнать ее параметры. Но через некоторое время, как ошибки обучения, так и проверки достоверности, как представляется, застопорились (за пределами случайных колебаний: я использую исключение).

Итак, я решил, чтобы попытаться использовать сопряженный градиент, чтобы уточнить значения. Я все еще, очевидно, не хочу, чтобы он набирал обороты, поэтому я держал отсева ... Но, конечно, это делает функцию оптимизации шумной. Итак, я думаю, мой вопрос: имеет ли Conjugate Gradient (или L-BFGS или т. Д.) Бесшумные функции? Или они могут работать при наличии шума?

Спасибо!

Answer 1

Алгоритмы оптимизации на основе градиента очень чувствительны к шуму. Это связано с тем, что расчет производных зависит от разрывов, вызванных шумом в функциональной области.

Для оптимизации шумных целевых функций лучше использовать эвристические алгоритмы: генетические алгоритмы, имитационный отжиг, колонию муравьев, рой частиц ... Они не основаны на градиентах, и поэтому они не представляют такой же слабости.

Вы можете прочитать больше об этих алгоритмах в книге:

Дык Ф, Д. Karaboga, Интеллектуальные методы оптимизации. Лондон, Великобритания: Springer-Verlag London, 2000.

Если вы заинтересованы в имитированной отжиге, вы также можете прочитать:

Питер Rossmanith, «Имитационное Отжиг» в Алгоритмы Unplugged, Vöcking, Б. , Alt, H., Dietzfelbinger, M., Reischuk, R., Scheideler, C., Vollmer, H., Wagner, D., Ed. Берлин, Германия: Springer-Verlag Berlin Heidelberg, 2011, ch. 41, pp. 393-400.