Большой файл, SSIS на мелкие куски, параллельно обогащение

Question

У меня есть довольно большой файл 10GB в размере нужно загружать записи в БД, я хочу иметь две дополнительные колонки

1. LoadId, который является постоянным (это означает, что файлы уникальны. Загрузочный номер)
2. ChunkNumber, который укажет на размер партии.

Так что, если у меня есть размер партии 10000 записей я хочу

1. LoadId = {GUID}
2. ChunkNumber = 1

в течение следующих 10000 записей я хочу

1. LoadId = {GUID}
2. ChunkNumber = 2

Возможно ли это в SSIS? Я полагаю, что могу написать для этого настраиваемый компонент, но должен быть встроенный идентификатор, если бы я мог использовать, поскольку SSIS уже работает с партиями размером 10 000

Может кто-нибудь помочь мне разобраться в этом параметре, если он существует и можно ли его использовать?

ОК немного более подробно на фоне того, что и почему.

Мы получаем данные в фрагмент из 10 000 записей, тогда мы можем начать вызов хранимых процедур, чтобы обогатить данные кусками, все, что я пытаюсь сделать, это помочь нам в SSIS, поставив номер Chunk и Guid

это помогает хранимой программе перемещать данные в кусках, хотя я мог сделать это после факта с номером строки, Select должен снова пройти весь набор и обновить номера кусков. его двойное усилие. GUID будет представлять собой полный набор данных, и к нему относятся отдельные куски.

Дополнительная информация. Есть рабочий стол, который мы импортируем в этот большой файл, и если мы начнем обогащать все данные сразу, журнал транзакций будет использован, более управляем, если мы сможем получить данные в куски, чтобы журнал транзакций не взорвался и также мы можем параллельно проводить процесс обогащения.

Данные перемещаются из нормализованного формата нормализованного формата отсюда. SP более удобна в обслуживании в день выпуска и управления днем ​​сегодня, поэтому любая помощь приветствуется.

или есть другой лучший способ справиться с этим?

Answer 1

Для LoadID, вы можете использовать переменную SSIS

System::ExecutionInstanceGUID 

который генерируется SSIS при выполнении пакета.