Я собираюсь переместить наши SSIS ETL на Azure Data Factory. Мои аргументы в пользу такого прыжка:Azure Data Factorys vs SSIS
Наши источники и цели уже находятся в облаке. ADF является облачным, поэтому кажется, что он подходит.
ADF - это сервис, поэтому мы можем потреблять и оплачивать его по запросу. SSIS подразумевает затраты на лицензирование и не дает одолжить его естественным образом для потребления по требованию (мы думали, что DevOps может вращать ETL-серверы на разовой основе)
Создание программного кода ETL программно с использованием SSIS требует очень специфического таких как BIML или DTS API. Перейдя в ADF, я надеюсь, что сочетание JSON и TSQL и C# в USQL сделает необходимые навыки более универсальными.
Я надеюсь, что члены сообщества могут поделиться своим опытом и таким образом помочь мне прийти к решению.
Сво большой риск для преобразования существующих рабочих процессов, ETL к чему-то новому. Вероятно, вы внесете новые ошибки без уважительной причины. Подумайте, только попробуйте это для новых вещей. а затем преобразовать остальные, так как необходимы изменения. Не делайте этого вообще, если ваша работа ETL не имеет текущих модульных тестов и тестов QA. Не пропустите QA при этом. – HLGEM
Хотя я понимаю стремление к потреблению ETL по требованию, я не понимаю момент навыков. Biml - это всего лишь XML и C# с небольшим количеством смешанных SQL. Для фабрики данных вам необходимо использовать JSON и C# и, возможно, U-SQL. На данный момент вы найдете больше разработчиков с навыками SSIS, чем Data Factory, поэтому есть кривая обучения в любом случае. Я не вижу, что это важный момент. – mmarie
Кроме того, если вы не использовали ADF, возможности планирования слабы. И это совершенно другое мышление от SSIS. Когда вы проектируете трубопроводы, вы обычно используете срезы времени для некоторой дополнительной обработки. Если много ваших процессов - это просто пакетное обновление без метки времени или идентификатора фрагмента, это становится немного неудобным. – mmarie