Мы строим производственный конвейер данных, который динамически запускает пакетные задания (AWS Data Pipeline Activities) динамически в зависимости от их зависимостей. Помимо запуска всего конвейера данных, мы хотели бы запустить конкретный раздел конвейера и отдельных операций.Возможно ли отключить деятельность в трубопроводе данных AWS?
1) Можно ли запустить конвейер данных AWS с отключенными действиями?
2) Есть ли способ запуска одного действия из существующего трубопровода данных AWS?
Похоже, что вы не строите конвейер, а рабочий процесс. Я считаю, что для разработчиков довольно часто думать о вычислениях с точки зрения потока управления. Но, по моему опыту, это не правильная абстракция для конвейера данных. Я предлагаю вам либо пересмотреть свои требования, либо выбрать другой инструмент. – tveon