SSIS - обработка нескольких определений таблиц во время ETL

Я ищу, чтобы объединить несколько таблиц в единую таблицу загрузки данных, используя SSIS. Таблицы создаются некоторым программным обеспечением, которое я написал и созданным на этапе обработки данных. Каждая из таблиц будет в другом формате и представляет собой другой файл нагрузки, но все они будут содержать различные ключевые поля, которые необходимо будет извлечь, очистить и затем поместить в другую таблицу. Различные ключевые поля могут не иметь статических имен (например, «платеж» в одной таблице и «pymnt» в другом), поэтому, если это возможно, их нужно будет сопоставить с таблицей назначения.SSIS - обработка нескольких определений таблиц во время ETL

Как я не использовал SSIS много (я использовал SQL Server более 10 лет в различных ролях dev) Мне было интересно, может ли кто-нибудь дать мне какие-либо указатели с точки зрения направления или даже если SSIS является правильный инструмент для работы?

можно использовать либо 2008R2 или 2012

Я ценю вопросы немного расплывчато, но я действительно искал место, чтобы начать свои исследования.

Большое спасибо заранее

источник

2013-08-07 bhs

У вас есть данные в нескольких таблицах. Вам нужно объединить эти разные данные в другую таблицу. Это случай, когда A + B + C = 1 строка или A + B + C = 3 строки? Иными словами, вы комбинируете атрибуты из нескольких таблиц, чтобы определить свою строку в новой таблице, или же вы соответствуете строкам из всех таблиц, чтобы вписаться в целевую таблицу? – billinkc

Спасибо за быстрый ответ - мне нужно будет сопоставить строки из нескольких таблиц в одну таблицу. В будущем будут добавлены новые таблицы с форматами, которые в настоящее время не существуют. Каждая таблица, подлежащая согласованию, представляет собой файл нагрузки. Новый файл загрузки будет представлять новый клиент. – bhs

Любые дальнейшие обновления по этому вопросу? – bhs

SSIS, безусловно, является инструментом для этой работы.

То, что вы пытаетесь сделать, очень похоже на то, что я недавно завершил. Мне пришлось консолидировать результаты 4 различных гостевых опросов в стандартный набор данных. В качестве примера у всех 4 опросов есть некоторые данные, похожие на имя гостя, адрес электронной почты, номер лояльности и т. Д., Тогда каждый из них имеет свой уникальный набор вопросов и соответствующие ответы.

Мы нарушили данные в

Четыре отдельной промежуточной таблицы, чтобы получить данные для различных исходных файлов. Из исходных таблиц с использованием нескольких представлений я разбил данные в кусках, чтобы заполнить консолидированную структуру данных.

Таблица опросов, которая помогла определить каждый опрос.

ID 
Name 
Description

Обзор послал СТОЛ есть данные, которые являются общими для всех обследований и идентифицирует каждый опрос, который был разослан.

ID 
First Name 
Last Name 
Email

Четыре обследования подробно таблицы, которые имеют необычную информацию для гостей, которые не вопрос

Тогда мы имеем таблицу QUEST дома все вопросы.

ID 
Question 
Description

Тогда у нас есть таблица, которая связывает каждый вопрос с опросом.

Quesiton_ID 
Survey_ID

Наконец, таблица значений ключей, в которой содержится ответ гостей для каждого вопроса.

Survey_Sent_ID 
Question_ID 
Answer

Все настройки таким образом, что если новый вопрос добавляется к одному из опросов, она может быть добавлена в рабочий процесс в течение примерно 5 минут на вопрос и развернутыми на производство в еще 5 минут.

Пакеты копируют через 40 или около того исходные файлы в диапазоне форматов менее чем за минуту.

Я использую представления для преобразования данных в SQL, тогда SSIS просто обрабатывает передачу данных из источника в пункт назначения, обновляя данные, которые изменили и вставили новые данные.

Я буду следить за этим, если у вас возникнут какие-либо конкретные вопросы, и я помогу вам в лучшем случае.

источник

2013-08-29 20:09:55

SSIS - обработка нескольких определений таблиц во время ETL

ответ

Смежные вопросы