Рабочие процессы Apache Mesos - Планировщик событий, управляемый событиями

Question

В настоящее время мы используем Apache Mesos с Marathon и Chronos для планирования длительных и пакетных процессов.

Было бы здорово, если бы мы могли создать более сложные рабочие процессы, например, с помощью Oozie. Скажем, например, ногами задания, когда файл появляется в местоположении или когда какое-либо приложение завершает или вызывает API.

Хотя кажется, что мы могли бы сделать это с помощью Marathon/Chronos или Singularity, для этого нет доступного интерфейса.

Answer 1

Конечная точка Chronos /scheduler/dependency позволяет указать «все задания, которые должны запускаться как минимум один раз, прежде чем это задание будет запущено». Сделайте это на каждом из ваших заданий Chronos, и вы можете создавать произвольно сложные DAG рабочего процесса.

https://airbnb.github.io/chronos/#Adding%20a%20Dependent%20Job

Chronos в настоящее время только графики работы, основанные на времени или зависимостей триггеров. Другие события, такие как обновление файлов, git push или email/tweet, могут быть смоделированы как работа ожидания для X, от которой зависит ваше целевое задание.