Скажите, что у вас есть воздушный поток DAG, который не имеет смысла для обратной засыпки, а это означает, что после его запуска один раз его последующее время быстро будет совершенно бессмысленным.Как предотвратить воздушный поток от засыпки?
Например, если вы загружаете данные из какого-либо источника, который ежечасно обновляется только в вашей базе данных, засыпка, которая происходит в быстрой последовательности, будет просто импортировать одни и те же данные снова и снова.
Это особенно раздражает, когда вы создаете новую почасовую задачу, и она запускает N количество раз за каждый пропущенный час, делая избыточную работу, прежде чем она начнет работать в указанном вами интервале.
Единственное решение, которое я могу придумать что-то, что они специально не рекомендуемые в FAQ of the docs
Мы рекомендуем против использования динамических значений в качестве датой_начала, особенно
datetime.now(), как это может быть довольно запутанным.
Есть ли способ отключить засыпку для DAG, или я должен сделать выше?
Спасибо. Это намного лучше, чем LastOnlyOperator. – m0meni
У меня установлено catchup_by_default = False, но Airflow все еще заполняет задания. Любая идея почему? Я запускаю версию 1.8 –
@OllieGlass Вы уверены, что применили ее к правильному контейнеру, я точно не знаю, что такое ваша установка, но это определенно имеет значение. Вы также можете попробовать применить его к конкретным группам DAG, если вы не уверены. – sage88