Я новичок в Airflow. Но теперь я работаю над тем, как регулировать текущие рабочие места в Airflow. Есть ли кто-то, кто немного знает о параллелизме или дросселировании в Airflow. Любые предложения могут быть полезными. Большое спасибо.Как дросселировать текущие рабочие места в воздушном потоке?
Если вы хотите дросселировать задачи в даге, вам нужно определить его параметр «параллелизма».
«параллелизм» определяет, сколько экземпляров выполняемых задач DAG разрешено иметь, за пределами которых точки попадают в очередь.
Если вы хотите, чтобы задушить задачи глобально, смотреть в этой строки конфигурационного файла
Сумма параллельности в качестве параметра к исполнителю. Это определяет максимальное количество экземпляров задач, которые должны выполняться одновременно на этой установке воздушного потока
параллелизм = 32
И
Количество экземпляров задач разрешено работать одновременно с помощью планировщика
dag_concurrency = 16
Первый глобальный, второй - значение по умолчанию для всех сумм