Импорт и экспорт данных в SSIS

Question

Я хочу импортировать/экспортировать несколько таблиц/файлов в SSIS. Ниже приведены мои случаи и требования.

Случай 1: У меня есть число таблиц с разными столбцами и типами данных, мне нужно пройти все таблицы и экспортировать в файлы excel/CSV.

Для Ex:

Table1 : Employee 

EmpID Empname 
1  A 
2  B 
3  C 

---

Table 2 :Department 
Departmentid  DepartmentName 
1     HR  
2     ADMIN 
3     SALES 

---

Table 3 : Payroll 

EmpId  DateOfJoining Salary 
1   01/01/2012 15000 
2   10/12/2014 20000 
3   05/06/2006 50000 

---

Table 4................table 100 etc., 

Теперь я хочу, чтобы петля все эти 100 таблиц и нужно экспортировать в Excel/CSV файлов используя SSIS ,

Случай 2: В приведенных выше примерах у меня есть данные для всех 100 таблиц в файлах Excel/CSV и их необходимо импортировать в таблицы SQL-сервера.

Для этих двух случаев (импорт/экспорт) я хочу использовать SSIS. Можете ли вы предложить кого-нибудь по этому поводу?

Я знаю, если количество столбцов одинаково в 100 таблицах, тогда можно импортировать/экспортировать. Но количество столбцов различно во всех таблицах. Как мы можем импортировать/экспортировать?

Answer 1

Попробуйте использовать BIML для автоматизации создания вашего пакета. Copy data dynamically with bimlscript

Answer 2

Мы имеем аналогичную ситуацию, и мы написали хранимую процедуру, которая проходит через sys.tables и создает промежуточную таблицу для каждой соответствующей таблицы.

Вам нужно будет использовать метаданные системы SQL и динамический SQL для чтения данных (имя таблицы, имена столбцов), а затем написать динамический SQL-запрос для создания новой промежуточной таблицы и затем, наконец, вставить данные.

SP вызывается из SSIS, а затем в промежуточных столах обрабатываются традиционные задания SSIS. Но кишки этого первого шага выполняются в хранимой процедуре.