Я использую shadoworflow. Моей памяти gpu недостаточно, поэтому я хочу усреднить градиенты из 4 итераций для обновления переменной.как реализовать iter_size как caffe in tensorflow
Как это сделать в тензорном потоке?
Я встретил ту же проблему. Я думаю, this example может быть полезен для вашей проблемы. Он вычисляет N партий с N графическими процессорами, а затем выполняет обратное распространение один раз. Что вам нужно сделать, это изменить строку 165-166. Запустите 'compute_gradients()' 'iter_size' раз и запустите 'average_gradients()' один раз.
сначала дайте ответ, а затем примеры. – Sachith
Ссылка только ответы не принимаются на этом форуме. Покажите код, а затем ссылку на ссылку. –
есть. Tensorflow предоставляет некоторые официальные примеры. Но код немного тривиален и не очень удобен для написания параллельных программ с несколькими gpu. –
Добро пожаловать в переполнение стека! Я отредактировал ваш вопрос, насколько я мог догадаться о вашей проблеме. Однако сначала попробуйте его, попробуйте сами, если вы застряли, а затем придите сюда и добавьте код и описание, чтобы увидеть больше людей со знанием предмета. Измените конкретное сообщение об ошибке, с которым вы сталкиваетесь, в случае необходимости определить конкретную проблему. Удачи! – manetsus
В тензорном потоке выполнение обратного распространения со встроенными оптимизаторами намного проще в программировании. Учитывая проблему с памятью, вы бы попробовали меньший размер партии и выполняли обратное распространение раз в каждой итерации? – weitang114