высокая точность нейронной сети для распознавания изображений, поплавка или двойная?

Question

Нейронные сети для распознавания изображений могут быть действительно большими. Могут быть тысячи входов/скрытых нейронов, миллионы соединений, которые могут занимать много компьютерных ресурсов.

В то время как float является обычно 32bit и double 64bit в C++, они не имеют большой разницы в скорости в скорости, но использование поплавков может сэкономить некоторую память.

Имея нейронную сеть, что использует sigmoid в качестве функции активации , если мы могли бы выбрать из которых переменных в нейронной сети может быть плавающей или двойной , которые могут быть поплавком, чтобы сохранить память без нейронная сеть не может выполнять?

В то время как входы и выходы для данных обучения/тестирования определенно может быть поплавков , потому что они не требуют двойной точности, так как цвета в изображении могут быть только в диапазоне 0-255 и когда нормализуется масштаб 0.0-1.0, стоимость единицы будет быть 1/255 = 0,0039 ~

1. насчет скрытых нейронов выходной точности, было бы безопасно, чтобы сделать их плавать тоже?

вывод скрытого нейрона получает его значение из суммы вывода нейронного слоя предыдущего уровня * его вес соединения к расчетному нейрону, а затем сумма передается в функцию активации (в настоящее время сигмовидная) для получения нового выхода. Сама переменная Sum может быть двойной, поскольку она может стать действительно большим числом при большой сети.

2. насчет веса соединения, они могут быть поплавки?

В то время как входы и выходы нейрона находятся в диапазоне 0-1.0 из-за сигмоида, весам разрешено быть больше.

---

Stochastic gradient descentbackpropagation страдает на vanishing gradient problem из-за производной активации функции, я решил не ставить на это как вопрос о том, что точность должна градиент переменной быть, ощущение того, что поплавок просто не будет достаточно точным, особенно когда сеть глубокая.

Answer 1

1. насчет скрытых нейронов точность выхода, было бы безопасно, чтобы сделать их плавать тоже?

Использование float32 везде, как правило, безопасный выбор для большинства нейросетевых приложений. В настоящее время графические процессоры поддерживают только float32, поэтому многие практикующие придерживаются float32 во всем мире. Для многих приложений может быть достаточно даже 16-bit floating point values. Некоторые экстремальные примеры показывают, что высокоточные сети могут быть обучены всего лишь в 2 бита на вес (https://arxiv.org/abs/1610.00324).

Сложность глубоких сетей обычно ограничена не вычислительным временем, а объемом ОЗУ на одном графическом процессоре и пропускной способностью шины памяти.Даже если вы работаете с процессором, использование меньшего типа данных по-прежнему помогает более эффективно использовать кеш. Вы редко ограничены точностью машинного типа данных.

, поскольку цвета в изображении может быть только в диапазоне 0-255,

Вы делаете это неправильно. Вы вынуждаете сеть изучать масштаб ваших входных данных, когда это уже известно (если вы не используете процедуру инициализации пользовательского веса). Лучшие результаты обычно достигаются, когда входные данные нормализуются к диапазону (-1, 1) или (0, 1), и весы инициализируются, чтобы иметь средний выход слоя в том же масштабе. Это популярный метод инициализации: http://andyljones.tumblr.com/post/110998971763/an-explanation-of-xavier-initialization

Если входы находятся в диапазоне [0, 255], то при среднем входе ~ 100, а весом ~ 1, потенциал активации (аргумент функции активации) будет ~ 100 × N, где N - количество входов слоя, вероятно, далеко в «плоской» части сигмоида. Таким образом, либо вы инициализируете свои веса как ~ 1/(100 × N), либо масштабируете свои данные и используете любой популярный метод инициализации. В противном случае сети придется потратить много времени на обучение, чтобы довести весы до такого масштаба.

стохастический градиентный обратного распространения страдает от исчезновения проблемы градиента из производной активации функции, я не решил поставить на это как вопрос о том, что точность должна градиент переменной быть, ощущение того, что поплавок просто не будет достаточно точным , особенно когда сеть глубокая.

Это гораздо меньше, чем арифметическая точность машины, но масштаб выходов для каждого из слоев. На практике:

• ввода предобработки данных (нормализовать (-1, 1) диапазон)
• если у вас есть более чем 2 слоя, то не используйте сигмоида, использовать выпрямленное линейные блоки вместо
• ИНИЦИАЛИЗИРУЙТЕ веса тщательно
• использование пакетной нормализации

This video должно быть полезно, чтобы изучить эти понятия, если вы не знакомы с ними.

Answer 2

От least amount of bits needed for single neuron:

следующие документы изучали этот вопрос (по убыванию хронологического порядка):

• Ускорение Deep сверточных сетей с использованием низкой точности и разреженности. Ганеш Венкатеш, Эрико Нурвитадхи, Дебби Марр. 2016-10-02. https://arxiv.org/abs/1610.00324
• двоичному виду, нейронные сети: Обучение нейронных сетей с весами и активаций стесненных +1 или -1 Матье Courbariaux, Итай Hubara, Daniel Soudry, Ран Эль-Yaniv, Йошуа Бенджио Arxiv: http://arxiv.org/abs/1602.02830
• Suyog Гупта, Анкур Agrawal, Kailash Gopalakrishnan, Pritish Narayanan Глубокое обучение с ограниченной числовой точностью https://arxiv.org/abs/1502.02551
• Courbariaux, Matthieu, Jean-Pierre David и Yoshua Bengio. «Обучение глубоким нейронным сетям с малой точностью умножения». arXiv preprint arXiv: 1412.7024 (2014).https://arxiv.org/abs/1412.7024
• Vanhoucke, Vincent, Andrew Senior и Mark Z. Mao. «Улучшение скорости нейронных сетей на процессорах». (2011). https://scholar.google.com/scholar?cluster=14667574137314459294&hl=en&as_sdt=0,22; https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/37631.pdf

Пример из Deep Learning с ограниченной точности вычислений: