какой дизайн следует использовать для создания Datawarehouse

Question

Я работаю над проектом по созданию хранилища данных. Я использую сторонний инструмент для создания кубов OLAP, но проблема в том, что он создает отдельную промежуточную область для каждого куба OLAP, в то время как большинство моих кубов используют один и тот же источник данных. Компания решила создать единый склад данных, а затем кубы будут отправлять исходные данные с этого склада.

Я буду извлекать данные из разных источников и хранить их в базе данных (промежуточная область), затем я преобразовываю эти данные в соответствующие таблицы для измерений и фактов и сохраняю их в отдельной базе данных, называемой хранилищем данных, а затем я создаст отдельные кубы путем поиска данных из хранилища данных.

Могу ли я создать различные базы данных для промежуточной области и хранилища баз данных, хотя они будут на одном сервере?

Плюс, что касается моих витрин данных, мне нужно иметь все витрины данных на одном складе или я могу использовать их в разных базах данных, я хочу знать здесь о логических и физических разделениях и лучших практиках.

Answer 1

Похоже, что вам было предписано что-то в соответствии с принципами Корпоративной информационной фабрики из решения для хранилища данных Билла Инмона.

http://www.inmoncif.com/library/cif/

Read EDW в качестве единого хранилища данных и Ведомственные как ваши витрины данных отдельных кубов.

Вы можете нормализовать (и выполнить большую часть преобразования) при загрузке первого хранилища данных и использовать его в качестве ваших централизованных данных.

При загрузке кубов вы можете выбрать один из нескольких способов представления данных для загрузки. Перейдя в новую единую базу данных, как вы описали, создавая представления поверх центрального хранилища данных для чтения данных или создания отдельной промежуточной области для каждого куба.

Имейте в виду, что целью отдельных кубов может быть выделение отделов друг для друга, чтобы обеспечить быстрое сжатие разработок для отдельных отделов, и целью первого центрального хранилища данных может быть согласование разрозненных данных в один приемлемый набор данных перед использованием для многие цели отчетности.

Поговорите с людьми, которые решили вашу архитектуру, чтобы увидеть, что они имели в виду, или проблемы, которые они хотели решить.

Answer 2

Для проектирования хранилища данных.

1. Во-первых, мы должны знать полезность хранилища данных (средства, какой тип отчета мы собираемся взять из системы)

2. мы должны выбрать схемы (STAR ​​или SNOWFLAK)

3. нам необходимо создать размеры хранилища данных.

4. нам необходимо создать таблицу фактов, в которой будут храниться все транзакционные данные.