Создайте измерение с несколькими источниками данных

Question

Я разрабатываю несколько измерений с несколькими источниками данных и задаюсь вопросом, что другие люди сделали для обработки нескольких суррогатных бизнес-ключей.

Мой пример: У меня есть 2 источника данных - система заказа и система исполнения. Система заказа содержит сведения об оплате и что должно произойти; система исполнения содержит сведения о том, что на самом деле произошло (сколько времени потребовалось и т. д., которые были выполнены в заказе). Данные из обеих систем необходимо создать единый факт.

В системе Ordering and Execution они представляют собой таблицу местоположения. Бизнес-ключи от обеих систем отображаются через esb. В обеих системах есть атрибуты, которые составляют полную картину об одном месте. Биллинговая информация находится в системе заказа, широта и долгота находятся в системе исполнения. И Location Name существует в обеих системах.

Как вы определяете изменения в SCD от обеих систем к размеру?

Мы придерживаемся довольно строгой методологии Кимбалла - fyi, но я открыт для поиска решений каждого.

Answer 1

Не обязательно ответ, но вот мои мысли:

Вы уже рассмотрели реальные варианты в вашем комментарии. Либо:

A. Слияние это заранее

Вам нужна функциональность слияния в постановке, которая соответствует два (или более) записи, создает новый общий ключ слияния и использует, что в измерении. Это требует определенной формы поиска или ссылки, которые будут сохранены в дополнение к обычным DW данных

ИЛИ

B. Слияние его в измерении

Put обе записи в измерении и позволяют инструмент отчетности для " merge 'это, например, путем группировки по имени местоположения. Это означает, что вам не нужно предварительно логику слияния просто сбросить его в измерении

Однако у вас есть два ограничения, которые я чувствую, делает выбор между A & B четкому

Во-первых, вам нужно SCD ​​(тип 2 Я предполагаю). Это означает, что вариант B может стать очень сложным, так как при изменении одной записи источника вам нужно найти другую запись и изменить ее также - очень неприятно для варианта B. Вам по-прежнему нужен какой-то предварительно сохраненный ключ для свяжите их, что означает, что вариант B уже не является простым.

Во-вторых, учитывая, что у вас есть два источника для одного атрибута (Location Name), вам нужна какая-то промежуточная логика, чтобы выбрать одно имя, если они не соответствуют

Так что, учитывая эти два обстоятельства, я предлагаю, чтобы вариант A был лучшим - постройте некоторую предварительно сближающуюся логику, так как требует сложность ваших требований.

Вы бы подумали, что это будет распространенная проблема, но я никогда не нашел хорошую онлайн-ссылку, объясняющую, как кто-то решил это раньше.