Спарк обеспечения высокой доступности

Question

I`m с помощью искры 1.2.1 на трех узлах, которые работают три рабочих с конфигурацией ведомой и запустить ежедневно рабочих мест с помощью:

./spark-1.2.1/sbin/start-all.sh 

//crontab configuration: 
./spark-1.2.1/bin/spark-submit --master spark://11.11.11.11:7077 --driver-class-path home/ubuntu/spark-cassandra-connector-java-assembly-1.2.1-FAT.jar --class "$class" "$jar" 

Я хочу, чтобы доступно искра ведущих и ведомых работников во все времена, и даже если он не работает, мне нужно перезапустить его, как сервис (как, например, cassandra).

Есть ли способ сделать это?

EDIT:

Я посмотрел в start-all.sh сценарий, и он содержит только настройки для start-master.sh сценария и start-slaves.sh сценария. Я попытался создать супервизора файл конфигурации для него и только получить следующие ошибки:

11.11.11.11: ssh: connect to host 11.11.11.12 port 22: No route to host 
11.11.11.13: org.apache.spark.deploy.worker.Worker running as process 14627. Stop it first. 
11.11.11.11: ssh: connect to host 11.11.11.12 port 22: No route to host 
11.11.11.12: ssh: connect to host 11.11.11.13 port 22: No route to host 
11.11.11.11: org.apache.spark.deploy.worker.Worker running as process 14627. Stop it first. 
11.11.11.12: ssh: connect to host 11.11.11.12 port 22: No route to host 
11.11.11.13: ssh: connect to host 11.11.11.13 port 22: No route to host 
11.11.11.11: org.apache.spark.deploy.worker.Worker running as process 14627. Stop it first. 

Answer 1

Есть инструменты, такие как Monit и супервизор (или даже Systemd), которые могут контролировать и перезапускать неудачные процессы.