Процедура развертывания для новых пропусков

Question

Мне нужен совет о том, как перезапустить все службы воздушного потока при развертывании, не убивая рабочих в середине задачи.

Я написал процедуру развертывания для своих групп DAG, которые устанавливают воздушный поток и любые другие зависимости pip в virtualenv. После того, как мой каталог релиз готов, я:

1. остановка воздушного потока цветок, воздушный поток-рабочий, воздушный поток-планировщик, и воздушный поток, веб-сервер
2. Update «текущий» SimLink, чтобы указать на мой новый релиз
3. Начать воздушный поток, цветок, воздушный поток, планировщик воздушного потока и воздушный поток.

Проблема с этой процедурой развертывания заключается в том, что рабочие немедленно уничтожаются. Я хотел бы добавить какой-то мониторинг к сценарию, чтобы приостановить все группы DAG, дождаться, пока рабочие простаивают, а затем перезапустите службы, но CLI воздушного потока не имеет возможности узнать, какие блокировки включены, и не работают ли рабочие.

Я понимаю, что многие службы воздушного потока могут автоматически обнаруживать изменения в папке dags, но я хочу, чтобы каждое развертывание имело свой собственный virtualenv. Если я не перезапущу все службы, то новое развертывание не заберет новую строку в файле requirements.txt.

Answer 1

Работники воздушного потока изящно уходят с SIGINT. Обновите монитор процесса, чтобы завершить работу с SIGINT, а не по умолчанию. Если вы используете systemctl, то это будет выглядеть примерно так:

... 
[Service] 
EnvironmentFile=/etc/sysconfig/airflow 
User=airflow 
Group=airflow 
Type=simple 
ExecStart=... 
KillSignal=SIGINT 
Restart=on-failure 
RestartSec=10s 

... 

Answer 2

У вас есть доступ к базе данных Airflow, поэтому рассмотрите разработку сценария развертывания, который выполняет этот процесс для вас.

• Обновление таблицы DAG, чтобы приостановить все группы DAG
• Прочитайте таблицу TASK_INSTANCE подождать, пока все состояние выполнения задач комплектных
• Restart воздушных потоков услуг.
• Обновите таблицу DAG, чтобы отключить DAG.