В лазурной datafactory как скопировать данные из blob в sql без дублирования?

Question

В лазурном DataFactory как скопировать данные из сгустка в SQL без дублирования, т.е. если работает трубопровод на срезе каждые 15 минут, а затем, как избежать дублирования данных

Answer 1

Решение не является автоматическим, но вы можете использовать Копировать активность и использовать хранимую процедуру в раковине SQL для обработки строк, которые могут уже существовать. Возможно, оператор TSQL Merge или оператор Insert/Update внутри.

https://azure.microsoft.com/en-us/documentation/articles/data-factory-copy-activity/

Invoke хранимая процедура для SQL Мойке. При копировании данных в SQL Server или в базу данных Azure SQL можно настроить и вызвать указанную пользователем хранимую процедуру.

Спасибо, Джейсон

Answer 2

Я была такая же проблема, и я обнаружил, что вы можете добавить время начала ломтика и окончания ломтика время хранимой процедуры и фильтровать запросы, используя их как и любой другой параметр, который поможет вам для загрузки данных с помощью срезов, а не с теми же данными, количество ломтиков у вас есть, надеюсь, что это достаточно ясно.

"typeProperties": { 
        "storedProcedureName": "sp_sample", 
        "storedProcedureParameters": { 
         "DateTime": "$$Text.Format('{0:yyyy-MM-dd HH:mm:ss}', SliceStart)" 
        } 
       } 

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-stored-proc-activity