масштабирование входных данных в нейронную сеть

Question

Нужно ли масштабировать входные данные для нейронной сети? Как это влияет на окончательное решение нейронной сети?

Я попытался найти некоторые достоверные источники. В книге «Элементы статистического обучения» (стр. 400) говорится, что она поможет выбрать разумные начальные случайные веса для начала.

Не являются ли окончательные веса детерминированными независимо от начальных случайных весов, которые мы используем?

Спасибо.

Answer 1

Во-первых, существует много типов ANN, я предполагаю, что вы говорите про самый простой - многослойный персептрон с обратным распространением.

Во-вторых, в вашем вопросе вы смешиваете масштабирование данных (нормализацию) и инициализацию веса.

Чтобы избежать симметрии во время обучения, необходимо случайно инициализировать весы (если все веса первоначально совпадают, их обновление также будет таким же). В общем, конкретные значения не имеют значения, но слишком большие значения могут привести к более медленной конвергенции.

Вы не требуется нормализовать свои данные, но нормализация может сделать процесс быстрее обучения. См. this question для более подробной информации.