Azure Data Factory Slices

Есть много демоверсий в Интернете, где нарезка выполняется на блоках формата myblobcontainer/{Year}/{Month}/{Day} или аналогичных (то есть https://azure.microsoft.com/en-gb/documentation/articles/data-factory-scheduling-and-execution/).Azure Data Factory Slices

Теперь ясно, что это позволит очень легко нарезать данные, поскольку параметры года и дня года были четко определены.

Что у меня есть, хотя, это файлы, которые больше похожи на это:

myblobcontainer/log_20151231_144229.csv

, который явно YYYYMMDD_HHMMSS.

Я хочу обрабатывать свои файлы ежечасно, а не перерабатывать что-либо, и в идеале не нужно слишком много переделывать мои капли.

Кто-нибудь знает, как я могу «читать» только эти файлы, которые попадают в мои часовые фрагменты?

источник

2016-03-04 m1nkeh

Папка Папка в наборе данных Blob может работать как префикс пути. Таким образом, вы можете установить folderPath как "$$Text.Format('myblobcontainer/log_{0:yyyyMMdd}', WindowStart)", и все файлы, соответствующие префиксу, будут скопированы.

источник

2016-03-11 05:08:23 Yingqin

Я забыл указать в моем примере, что префикс «log_» здесь фактически изменяется в зависимости от того, какой сервер создал журналы :( – m1nkeh

Извините, что вы знаете об этом. Тогда вам, возможно, придется использовать пользовательскую активность для вашей конкретной логики : https://azure.microsoft.com/en-us/documentation/articles/data-factory-use-custom-activities/. Вы можете запросить его как новую функцию, и мы будем дополнительно сортировать ее: https: // обратная связь .azure.com/форумы/270578-лазурь-данных завода – Yingqin

Azure Data Factory Slices

ответ

Смежные вопросы