У меня есть БД, который содержит некоторые данные. Эти данные преобразуются в требуемом формате перед сохранением в этой БД. Также эта БД запрашивается производственными приложениями.Архитектура анализа данных
Обратите внимание, что нет базы данных необработанных данных, все данные обрабатываются для дальнейшего использования в наших приложениях, прежде чем мы вставим их в этот noSQL. Теперь мне нужно реализовать некоторые отчеты на основе этих данных.
Например, выбрав диапазон дат в пользовательском интерфейсе генерировать простую диаграмму, чтобы показать накопившуюся тенденцию данных по дате:
Конечно, это простой пример, чтобы понять, что мне нужно и пытаться достичь, реальных отчетов будет быть более сложным.
В принципе, я ищу наиболее распространенный и самый умный способ присоединиться к этим двум подсистемам (БД данных и аналитикам) для достижения следующего результата: запрашивать одни и те же данные по отчетам, которые запрашиваются приложениями.
Там я вижу некоторые проблемы и трудности, потому что тяжелые отчеты будут влиять на пропускную способность БД и поскольку такая же БД также используется приложениями, она замедляет их. Если уже есть какие-то принципы построения систем, подобные этому, я был бы признателен, если вы упомянете об этом в комментариях/ответах.
Поскольку я не смог найти какие-либо руководящие принципы, я буду описывать шахтные мысли, как реализовать аналитик:
- Присылай рассчитывает как «событие» думал некоторые обмен сообщений платформ (RabitQM) в другое приложение, которое будет хранить эту информацию для разделения БД и использует его позже в отчетах. Я вижу следующие плюсы и минусы в этом подходе:
- Плюсы: влияние производительности на панели приборной панели отсутствует.
- Недостатки: дублирование данных
Пожалуйста, будьте точнее о «добытых данных». Добыча данных - это огромное поле, и некоторые люди используют это модное слово для простых агрегатов или веб-соскабливания. Не играйте в бинговое бинго здесь, это не коммерческий шаг продаж. –