Использование модели суммирования без обучения

Question

Модель суммирования текста тензорного потока, как описано здесь https://github.com/tensorflow/models/tree/master/textsum, требует многопроцессорной архитектуры для обучения. Мои неоднократные попытки обучения модели привели к исключениям в памяти, поломки машин по разным причинам. Доступна ли подготовленная модель обобщения, поэтому можно использовать модель обобщения без необходимости обучения? Модель суммирования обучается с использованием несвободного набора данных Gigaword, если обученная модель недоступна в Google, является ли это фактором, почему?

Answer 1

Насколько я могу судить, никто не поставил обученную модель там, на которую ссылаются. Я тоже изначально сталкивался с проблемами памяти на моем macbook pro и, в конечном итоге, использовал свой игровой ноутбук, у которого был гораздо лучший графический процессор.

Другой вариант, конечно, состоит в том, чтобы использовать AWS и использовать что-то вроде своего экземпляра g2.2xlarge. У них также есть свои экземпляры P2, но я еще не проверил это.

Что касается набора данных Gigaword, это просто сводится к лицензированию. Это не бесплатная лицензия от НРС, и часто многие из ученых, работающих над этим, имеют набор данных, предоставляемый им через их университеты или компании. Мне не повезло найти его, однако LDC вернулась ко мне и сообщила, что у них есть другие наборы данных, в которых есть pricetag около 300 долларов США, что гораздо разумнее для тех, кто использует, просто пытаясь изучить TF. Тем не менее, если вы не хотите ничего покупать, вы всегда можете написать свой собственный скребок страницы и отформатировать данные для модели textum. https://github.com/tensorflow/models/pull/379/files

Надеюсь, это поможет некоторым. Удачи!