Диапазон данных обучения для нейронной сети

Question

Лучше ли Neural Network использовать меньший диапазон данных обучения или это не имеет значения? Например, если я хочу обучить ANN с углами (значениями float), я должен передать эти значения в градусах [0; 360] или в радианах [0; 6.28] или, возможно, все значения должны быть нормированы на диапазон [0; 1]? Имеет ли диапазон данных обучения влияние на качество ANN? В моей нейронной сети есть 6 входных нейронов, 1 скрытый слой, и я использую сигмовидную симметричную функцию активации (tanh).

Answer 1

Диапазон данных указывает на то, как вы обучаете модель. Предположим, что диапазон значений для функций в наборе данных не нормирован. Затем, в зависимости от ваших данных, вы можете в конечном итоге иметь удлиненные эллипсы для точек данных в пространстве функций, а обучающая модель будет очень тяжело изучать коллектив, на котором лежат точки данных (изучите базовый дистрибутив). Кроме того, в большинстве случаев точки данных редко распространяются в пространстве признаков, если не нормированы (see this). Итак, сообщение о возврате - это нормализовать функции, когда это возможно.

Answer 2

Для нейронной сети не имеет значения, нормализованы ли данные. Однако эффективность метода обучения может сильно различаться. В двух словах: обычно методы предпочитают переменные, которые имеют более высокие значения. Это может привести к отключению метода обучения.

Важным для большинства методов обучения NN является то, что все измерения учебных данных имеют один и тот же домен. Если все ваши переменные являются углами, это не имеет значения, являются ли они [0,1) или [0,2 * pi) или [0,360), если они имеют один и тот же домен. Однако вам следует избегать наличия одной переменной для угла [0,2 * pi) и другой переменной для расстояния в мм, где расстояние может быть намного больше 2000000 мм.

два случая, когда алгоритм может пострадать в этих случаях:

(а) регуляризация: если Веса NN являются сила малого крошечным изменения веса управляющего входом переменного большого домена имеет гораздо больший эффект, чем для небольшого домена

(b) Градиентный спуск: если размер шага ограничен, у вас есть аналогичные эффекты.

Рекомендация: Все переменные должны иметь тот же размер домена, является ли это [0,1] или [0,2 * pi] или ... не имеет значения.

Дополнение: для многих доменов нормализация «z-score» работает очень хорошо.