стратегия базы данных для обеспечения аналитики данных

Question

Я предоставляю решение, которое обрабатывает операции для магазинов кирпича и миномета. Следующий шаг - предоставить аналитику для моих клиентов.

Поскольку я нахожусь на начальной стадии, я надеюсь найти свободный способ сделать это сам, вместо того, чтобы использовать сторонние решения. На данный момент я не ожидаю масштабных масштабов, но я хотел бы сделать это правильно, вместо того, чтобы запускать запросы с производственной базы данных.

И я думаю о проблемах с производительностью. Я должен запускать аналитические запросы из отдельных таблиц в одной базе данных. Задача cron будет запускаться каждую ночь, чтобы реплицировать данные из рабочих таблиц в таблицы аналитики.

Это правильный способ сделать это?

Другой вариант, который я имею в виду, - запустить аналитику из другой базы данных (в отличие от просто таблиц). Я использую Amazon RDS с MySQL, если это делает его более удобным?

Answer 1

Это зависит от того, сколько аналитики вы хотите предоставить.

Я менеджер DWH и начинаю с небольшого (свободного) решения BI (Business Intelligence). Ваша производственная БД и аналитическая БД всегда должны быть раздельными.

1. Посмотрите на интеграцию данных Pentaho (Community Edition). Это бесплатный инструмент ETL, который поможет вам получить ваши данные из вашей продукции в вашу базу данных аналитики, а также может выполнять трансформацию.
2. ознакомьтесь с некоторыми бесплатными программами для отчетности, такими как Jaspersoft, которые помогут вам предоставить платформу для отчетности для клиентов (если это то, что вы хотите, иначе просто используйте Excel).
3. BI никогда не хочет выбрасывать данные. Если вы считаете, что ваши данные в базе данных аналитики будут расти (2TB +), не используйте MySQL, а скорее PostgreSQL. MySQL не справляется с большими данными.
4. Если вы действительно серьезно относитесь к этому, прочитайте «Инструмент Datawarehouse Toolkit» Ральфа Кимбалла. Это даст вам некоторые базовые знания Data Warehouse.

Answer 2

Amazon RDS предоставляет что-то по телефону Read-Replica. Который автоматически выполняет репликацию и оптимизирован для чтения.

Мне нравится это решение для его удобства. Даунсайд: его ценник.