Перемещение данных между хранилищем Azure Blob и базой данных Azure по запросу

Question

У меня есть проект с требованием обрабатывать данные из бляшки Azure по базе данных Azure по запросу. Мы движемся по пути использования Azure Data Factory, но чем больше я его читаю, тем больше я не уверен, что это путь. У меня есть две проблемы:

1. Похоже, все должно быть запланировано в АПД, единственный способ, которым я видел, чтобы сделать на процесс спроса является использование isPaused собственности.

2. Параллельность - возможно, что несколько пользователей будут запускать процесс в одно и то же время. Я предварительно закодировал это с помощью пакетов SSIS, но никогда не работал с ADF. Возможно ли это?

Это похоже на неправильный инструмент для процесса, но, возможно, я ошибаюсь.

Answer 1

Azure Data Factory (ADF) - отличный инструмент, но вам нужно думать о вещах немного по-другому. В некотором смысле это похоже на SSIS, но во многих отношениях это не так. В частности, в качестве инструмента ELT и инструмента для оркестровки не преобразования ETL (например, SSIS) выполняются в другом месте, как правило, при вычислении, на котором вы работаете, а не в конвейере ADF.

Планирование моделируется вокруг slices, что является важным предметом для понимания с помощью АПД. В вашем примере у вас могут быть каталоги, названные в честь года с подкаталогами месяца, с подкаталогами дня и т. Д. Вплоть до любого уровня, который вам нужен. Установите свою частоту, например, месяц, день, час и т. Д., Затем ADF будет создавать срезы для каждого временного фрагмента и запускаться соответственно. Повторяя параллелизм, несколько пользователей могут сбросить свои файлы в хранилище blob, и ADF будет обрабатывать каждый из них, скажем каждые 15 минут. Это просто еще один способ приблизиться к одной и той же проблеме, иметь смысл?

У вас всегда есть возможность запускать SSIS в облаке, очевидно, вам понадобится виртуальная машина (IaaS) для ее запуска. Существует SSIS Azure Feature Pack, у которого есть источник и назначение Azure Blob, поэтому было бы легко сделать то, что вам нужно.