Как обновить функции python в воздушном потоке без необходимости перезапуска веб-сервера воздушного потока

Question

Я изучаю использование воздушного потока для планирования некоторых процессов ETL на python. Каждый раз, когда я обновляю свой код на Python, я должен перезапустить веб-сервер, а также переименовать DAG, прежде чем изменения кода будут подняты воздушным потоком. Во всяком случае, вокруг этого, особенно, поэтому мне не нужно переименовывать мою DAG каждый раз, когда я вношу изменения?

Answer 1

На веб-сервере изменения могут быть непонятными, но вы можете нажать кнопку обновления рядом с DAG, которую вы модифицируете, и перезагрузите DAG вручную.

Планировщик всегда будет использовать последний код без необходимости перезагрузки.

Смотрите здесь: https://gtoonstra.github.io/etl-with-airflow/gotchas.html

Answer 2

Этот URL: http://airflowhost:8080/admin/airflow/refresh_all

обновляет все группы DAG

Answer 3

Это была проблема с текущей версией. Обычно я делаю это, чтобы дублировать DAG и изменять его имя, чтобы оно отражалось на веб-сервере. Как только я заканчиваю разработку, я сохраняю последнее переименованное и удаляю старые.