Обновление весового пространства SGD с асинхронным обучением

Question

Я ищу творческие способы ускорить время обучения для своих нейронных сетей, а также, возможно, уменьшить исчезающий градиент. Я рассматривал возможность разбить сеть на разные узлы, используя классификаторы на каждом узле в качестве «ускорителей» backprop, а затем укладывая узлы друг на друга с разреженными соединениями между каждым узлом (столько, сколько я могу уйти без сети Ethernet насыщение делает его бессмысленным). Если я это сделаю, я не уверен, что мне нужно поддерживать какое-то состояние между узлами и синхронно поездить на одном и том же примере (возможно, он побеждает цель ускорения процесса), ИЛИ я могу просто тренироваться с одними и теми же данными, но асинхронно. Я думаю, что могу, и весовое пространство все еще может обновляться и распространяться по моим разреженным связям между узлами, даже если они тренируются на разных примерах, но неопределенно. Может кто-то подтвердить это возможно или объяснить, почему нет?

Answer 1

Возможно сделать то, что вы предлагаете, однако это громадное количество работы для одного человека. Самый последний пример, о котором я знаю, - это ракурс «DistBelief», разработанный большой исследовательской/инженерной группой в Google - см. Статью NIPS 2012 года по адресу http://static.googleusercontent.com/media/research.google.com/en//archive/large_deep_networks_nips2012.pdf.

Вкратце, подход DistBelief разделяет единицы в нейронной сети, так что каждый рабочий компьютер в кластере отвечает за некоторое непересекающееся подмножество общей архитектуры. В идеале разделы выбираются так, чтобы минимизировать требуемую межмашинную связь (т. Е. Минимальный разрез по сетевому графику).

Рабочие выполняют вычисления локально для своей части сети, а затем отправляют обновления другим работникам по мере необходимости для ссылок, пересекающих границы машины.

Обновление параметров осуществляется отдельным «сервером параметров». Рабочие отправляют градиентные вычисления на сервер параметров и периодически получают обновленные значения параметров с сервера.

Вся установка работает асинхронно и работает очень хорошо. Из-за асинхронности вычислений значения параметров для данного вычисления могут быть «устаревшими», но они обычно не слишком далеко. И ускорение довольно хорошее.