Я хочу создать связанные службы для Azure blob-соседей, информация об учетной записи для которой исходит из базы данных Azure SQL. Поскольку количество записей и информация учетной записи динамичны, поэтому я не могу определить связанные услуги с контейнерами Azure blob во время настройки части фабрики данных Azure. Могут ли связанные службы на фабрике данных Azure напрямую создаваться динамически?Azure Data Factory конвейер
К сожалению, это невозможно в текущей версии АПД. Вы можете использовать только функции для ссылки на элементы, относящиеся к выполнению трубопровода (дата/время выполнения). Вы не можете динамически определять имя blob с использованием другого источника данных.
Вы можете использовать функции в заводских данных наряду с выше системными переменными для следующих целей:.
- запросов Определения выбора данных (см разъема статья ссылки статью данных движения деятельности Синтаксиса для вызова данных заводская функция: $$ для запросов на выбор данных и другие свойства в действиях и наборах данных.
- Задание зависимостей ввода с заводскими функциями данных в действии сбор данных входов (см. Пример выше). $$ не требуется для указания входных зависимостей.
здесь: https://docs.microsoft.com/en-us/azure/data-factory/data-factory-functions-variables
И это все, что вы можете сейчас сделать с BLOB-входов: https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-blob-connector
в вашем случае, я хотел бы предложить, что если вы можете переопределить свои входные сгустки иметь имена/папки, которые могут быть получены из даты/времени выполнения конвейера, чем вы можете получить эту функциональность.
, иначе у вас может быть вызов usql, который получил информацию из sql, а затем переместил blob в папку с меткой даты, которую трубопровод мог бы забрать.
Ну, я думаю, что это возможно благодаря комбинации сценария Powershell с командлетами Data factory и функциями Azure для их запуска. Таким образом, PowerShell должен будет подключаться и получать schmas из хранилища, создавать наборы данных и разворачивать их, изменять конвейер, настраивать расписание каналов и добавлять/удалять элементы, а затем возобновлять (или просто устанавливать процесс запуска на текущий день). Но для этого потребуется довольно много работы.
Но Data Factory в версии 2, которая представляет собой предварительный просмотр прямо сейчас, дает гораздо больше опций, в том числе с использованием SSIS, чтобы решить эту проблему.
Я заметил, что -1 в ответе ниже, чтобы выяснить, хотите ли вы иметь экземпляр фабрики с одним экземпляром данных и когда запуск может изменить связанные службы, запросив базу данных sql для конфигурации? Или предварительно создается множество конвейеров данных для каждого набора данных учетной записи? –