Передача обновленных объектов в SSIS

Question

На моей работе я столкнулся со следующей проблемой: sql или t-sql очень медленны, если мы будем манипулировать большим количеством данных. Я имею в виду миллионы или миллиарды строк и эти способы (когда вам нужно использовать во время внутри или рекурсии в рекурсии) SSMS (MS SQL) не работает быстро (я также пробовал индексы и многие другие sql-подсказки). Я знаю, что другие языки программирования работают быстрее - теперь я пытаюсь передать данные из sql в C# (используя SSIS sql и скриптовые задачи) или Java (NetBeans). Не могли бы вы помочь мне и поделиться любыми функциями о том, как передать переменную объекта, которая была обновлена ​​в задачах сценария SSIS для задачи sql (insert). Я не знаю в SSIS, но 70% моего опыта там построено DWH, я использовал сценарий как раз для messege box в прошлый раз.

Я знаю, что нам нужно получить наш массив (таблицу) из sql в sql-задаче и передать его объекту varialbe. Второй шаг - обновление данных в задаче скрипта. В-третьих, чтобы получить объект с шага 2 и вставить в sql обновленные данные. Не могли бы вы помочь мне со 2-м и 3-м шагами? Как создать выходную переменную в задаче сценария C# (например, у нас есть таблица с 1 столбцом и хотите увеличить все значения до 1) и перейти к следующему блоку SSIS?

Я хочу, чтобы описать этот пример больше:

1. Мы таблица с 1 столбец с именем I и значение 0;
2. Мы передаем значение из таблицы в полный набор результатов (задача sql);
3. Как внести изменения в задачу сценария C# и вернуть новое значение переменной, которое мы получили с предыдущего шага?

Спасибо.

Answer 1

Создайте новую переменную типа Object. Используйте задачу потока данных, чтобы отправить данные в переменную целевого объекта и передать эту переменную в задачу сценария. Объект может быть приведен к DataTable типа в задаче сценария следующим образом:

var data = (DataTable)Dts.Variables["User::MyHugeDataSet"].Value; 

Надеется, что это помогает, но я настоятельно рекомендую вам пересмотреть свои требования и посмотреть, если есть набор на основе способы достижения этого в SQL. Выполнение того, что вы пытаетесь сделать здесь, - это почти всегда плохая идея.