Выполнение обучения модели тензорного потока из потока данных

Question

Я играю с тензором, и сегодня я заметил, что Google также открывал SDK Python с открытым исходным кодом для потока данных. В настоящее время, когда мне нужно тренироваться и оценивать несколько сетей параллельно, я обычно использую либо luigi, либо запускаю одну модель обучения за другой, либо использую spark, и я выполняю каждую модельную подготовку на шаге карты. Вся эта обработка данных является лишь частью конвейера.

Мне интересно, если есть или планируется что-то вроде выполнения этапа обучения модели тензорного потока внутри конвейера потока данных?

Есть ли в настоящее время некоторые рекомендации по этому вопросу?

Или мне нужно запускать каждую установку модели на шаге карты?

Я просмотрел документацию, и пока это кажется очень расплывчатым, поэтому я спрашиваю здесь, есть ли у кого-то опыт в этом.

Answer 1

В настоящее время ничего не планируется.

Если вы можете запустить обучение Tensorflow на одной машине (похоже, это то, что вы делали с Spark), тогда должно быть возможно сделать обучение в рамках DoFn конвейера потока данных.