Как сгенерировать суффикс слова с помощью Tensorflow?

Question

Мы работаем с Tensorflow. У нас очень большой набор данных, брендов и т. Д. Мы пытаемся генерировать суффиксы для слов. Например, дать «реальный» может дать «риэлтор», «действительно», «реальный», ... В нашем наборе данных каждое слово разделяется на \ n.

Мы пробовали несколько вещей до сих пор, но это, похоже, не дает адекватных результатов. Мне кажется, что это довольно простая задача, которая должна быть решена.

Основная идея, над которой мы работаем, - это адаптировать char-rnn-tensorflow. Мы просто сменили выборку на выборку (с взвешенными случайными вероятностями) до тех пор, пока не будет отбракован возврат каретки. Мы сохранили исходную реализацию с помощью rnn_decoder и sequence_loss_by_example и использовали rnn как модель.

До сих пор мы не получали хорошие образцы, почти случайные и иногда суффиксы, но без какого-либо отношения к началу нашего слова (real -> realstation). Возможно, это происходит из-за того, что эта реализация не разделяет слова, поэтому нам нужно что-то более простое?

Какие технологии вы бы использовали для такой задачи?

Answer 1

Наконец, мы смогли получить хорошие результаты, тщательно настроя параметры сети и применяя температуру к результатам, чтобы получить хорошие предложения. Длительность последовательности была очень важной во время обучения.