Azure Data Factory Data-Set Slicing

Question

У меня есть некоторые проблемы с разрезанием (доступность набора данных) в Azure Data Factory. Допустим, у меня есть исходный набор данных, который никогда не меняется. Затем я по какой-то причине настроил часовую нарезку для моего исходного набора данных. Будет ли каждый фрагмент идентичным? В чем смысл использования срезов вообще в таком случае (то есть зачем это необходимо)? Или, например, мой исходный набор данных добавляется с новыми данными непрерывно (например, журнал событий). И каждое утро я хочу провести анализ всей истории этого журнала. Должен ли я настроить ежедневную резку? Будет ли каждый фрагмент включать полную историю или только последний день?

Answer 1

Срезки - это интервалы, в течение которых трубопровод выполняется в течение периода, определенного начальными и конечными свойствами трубопровода. Если у вас есть источник исправления и вы выполняете действие более одного раза, он всегда будет использовать один и тот же источник (потому что он не изменяется). Допустим, вы установили время начала и окончания, чтобы быть днем, и установите частоту в 1 час - действие будет выполнено 24 раза. У вас будет 24 ломтика, все они используют один и тот же источник данных.

Для вашего второго сценария, если данные продолжают меняться, вы можете установить частоту один раз в день. То, что будет обрабатываться, зависит от активности, которую вы определяете в конвейере, - скажем, что конвейер удаляет старый источник после завершения обработки, или есть логика в активности, которая принимает только новые данные.