Работа с проблемами памяти в сети со многими весами

Question

У меня есть нейронная сеть с архитектурой 1024, 512, 256, 1 (входной уровень имеет 1024 единиц, выходной уровень имеет 1 единиц и т. Д.). Я хотел бы обучить эту сеть, используя один из алгоритмов оптимизации в scipy.optimize.

Проблема в том, что эти алгоритмы ожидают, что параметры функции будут заданы в одном векторе; это означает, что в моем случае, я должен разворачивать все веса в векторе длины

1024*512 + 512*256 + 256*1 = 655616 

Некоторые алгоритмы (как fmin_bfgs) необходимо использовать единичные матрицы, поэтому они делают вызов, как

I = numpy.eye(655616) 

который, не очень удивительно, производит MemoryError. Есть ли какой-то способ для меня избежать необходимости развернуть все веса в один вектор, не дожидаясь адаптации алгоритмов в scipy.optimize к моим собственным потребностям?

Answer 1

Я думаю, что сопоставление памяти с решением вашей проблемы. Я предлагаю использовать numpy.memmap, который оптимизирован для массивов numpy. Обратите внимание, что, хотя отображение памяти может быть довольно быстрым, вы должны следить за thrashing.

Для вашей общей культуры модуль mmap является более универсальной библиотекой памяти для отображения, которая включена в стандартную библиотеку.

Answer 2

Не пытайтесь установить весы в NN, используя L-BFGS. Это не работает особенно хорошо (см. Документы раннего Яна ЛеКуна), а потому, что это метод второго порядка, который вы собираетесь приблизить к гессианскому, который для этого большого веса составляет 655 000 х 650 000 матриц: это вводит которые просто не оправдаются.

Сеть не такая уж глубокая: есть ли причина, по которой вы избегаете стандартного back-prop? Это просто градиентный спуск, если у вас есть доступ к реализации библиотеки, градиенты дешевы для вычисления, и поскольку это только метод первого порядка, у вас не будет одинаковых накладных расходов.

РЕДАКТИРОВАТЬ:

Backpropogation означает, что правило обновления для w_i на этапе Т:

w_i (т) = w_i (т-1) - \ альфа (dError/dw_i)

Кроме того, вы столкнулись с тем, почему люди в зрении часто используют Convolutional NNs: разреженная связь значительно уменьшает размер вектора веса, где у вас есть один нейрон на пиксель.