Theano LSTM - что первично скрытое состояние

Question

У меня возникли проблемы с пониманием этой линии в куске кода, который я нашел:

def has_hidden(layer): 
    """ 
    Whether a layer has a trainable 
    initial hidden state. 
    """ 
    return hasattr(layer, 'initial_hidden_state') 

Мой вопрос заключается в том, что начальное состояние спрятан? Каково его использование? Или что такое состояние слоя? Я знаком со скрытыми слоями, RNN, LSTM из документов и видео, но я ничего не могу найти об этом. Спасибо за помощь.

Answer 1

Состояние слоя нейронов - это набор всех весов (его соединений), которые описывают его в этот момент времени.

Чтобы получить хорошую подготовку, необходимо, чтобы вы не начинали с 0 для всех весов для слоя нейронов. Наиболее распространенным решением этой проблемы является инициализация всех весов до небольших, но не нулевых чисел. Это будет описывать начальное состояние нейронной сети.