Планирование DataFlow трубопроводов

Question

Я хочу запланировать работу Google потока данных, чтобы запустить один раз в час

проверить этот адрес https://cloud.google.com/blog/big-data/2016/04/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-functions , но я получил много ошибок.

Как я могу это достичь?

Answer 1

Пожалуйста, проверьте делать такой случай с помощью Google потоков данных оконных с неограниченным источником https://cloud.google.com/dataflow/model/windowing https://cloud.google.com/dataflow/examples/gaming-example

Answer 2

С моей точки зрения, использование движка приложения пытается перепрофилировать хороший инструмент для чего-то другого.

Мы решили запустить собственный экземпляр CRON.