Внедрение BidirectionalGridLSTM

Question

Я реализую чатбот, используя модель seq2seq от Tensorflow [1], подавая его данными из Ubuntu Dialogue Corpus. Я хочу сравнить RNN с использованием стандартных клеток LSTM с клетками Grid LSTM, описанными в Kalchbrenner et al [2].

Я пытаюсь реализовать ячейку сетки LSTM в модели перевода, описанной в разделе 4.4 [2], но я борюсь с двунаправленной частью.

Я попытался использовать BidirectionalGridLSTMCell, но я не уверен, что они подразумевают под num_frequency_block. Они не упоминают об этом в газете. Кто-нибудь знает, что они подразумевают под num_frequency_block? В api docs говорится: num_frequecy_blocks: [обязательно] Список частотных блоков, необходимых для покрытия всего разделения входных данных, определенного start_freqindex_list и end_freqindex_list.

Кроме того, я попытался создать свою собственную ячейку. Сначала я делаю обработку с входами, затем меняю входы и выполняю обратную обработку. Но когда я конкатенирую эти результаты, форма меняется. Например. когда я пытаюсь запустить сеть с размером партии 32, тогда я получаю эту ошибку: ValueError: размеры должны быть равны, но 64 и 32 Как я могу конкатенировать результаты без изменения формы? Возможно ли это?

Есть ли у кого-нибудь другие советы, как я могу реализовать двунаправленную сетку LSTM?

[1] https://www.tensorflow.org/tutorials/seq2seq/ [2] https://arxiv.org/abs/1507.01526

Answer 1

-tensorflow имеет двунаправленные LSTMs встроенные: https://github.com/aymericdamien/TensorFlow-Examples/blob/master/notebooks/3_NeuralNetworks/bidirectional_rnn.ipynb

• вот учебник для использования двунаправленного LSTMs для умысел соответствия: https://blog.themusio.com/2016/07/18/musios-intent-classifier-2/

у вас отсутствует вторая ссылка [2].

Это полезная базовая линия, даже если они не обеспечивают сетки? Могу я спросить, для чего вы его используете?