Как построить модель seq2seq на основе символов в тензорном потоке

Question

Какие изменения необходимы для существующей модели seq2seq в тензорном потоке, чтобы я мог использовать единицы символов, а не существующие единицы слова для задачи seq2seq? И будет ли это хорошей конфигурацией для интеллектуального внешнего приложения?

Следующие подписи функции может потребоваться модификация для выполнения этой задачи:

def embedding_rnn_seq2seq(encoder_inputs, decoder_inputs, cell, 
          num_encoder_symbols, num_decoder_symbols, 
          output_projection=None, feed_previous=False, 
          dtype=dtypes.float32, scope=None): 

Помимо снижения выходного словаря ввода, что другие изменения параметров будут требоваться для реализации такой модели seq2seq уровня персонажа?

Answer 1

Я думаю, вы могли бы использовать существующую модель seq2seq в tensorflow без каких-либо изменений коды для блоков символьных если вы готовите файлы входных данных пропусков отделяя свои примеры обучения, как это:

The quick brown fox. 

Становится:

T h e _SPACE_ q u i c k _SPACE_ b r o w n _SPACE_ f o x . 

Тогда ваш словарный запас естественно станет символом, а не словами.

Вы можете экспериментировать с размерами вокала, с размером вложения, исключать слой внедрения и т. Д., Чтобы увидеть, что лучше всего подходит для ваших данных.