архитектура для анализа данных

Question

У нас есть система ERP, которая использует PostgreSQL и имеет некоторые данные, которые моя компания хочет проанализировать. Я должен сделать то, что они просили, но я чувствую, что мое решение идет медленно. Я запускаю SQL-запросы для извлечения данных, а затем красиво представляю их на странице. Но при каждом обновлении он запускает один и тот же код, и большинство исторических данных никогда не меняются. Я чувствую, что они должны быть каким-то образом сделать это быстро. Подобно хранению окончательных данных в другой БД, и если один и тот же запрос встречается снова, вы получите тот же результат, даже не думая (например, кеш, но более постоянный).

У меня нет опыта в этом, и вы, ребята, могли бы это сделать. могу ли я получить несколько указателей, чтобы сделать процесс быстрым и не избыточным. Спасибо.

P.S. Просто узнал о ETL и хранилище данных. Подойдут ли эти два? Должен ли я продолжать эти или они слишком велики для этой проблемы?

Answer 1

Вам нужен кэш результатов запроса. Похоже, PostgreSQL does not do it automatically, но есть proxy solution, который делает это.

Answer 2

Обычно вы используете некоторое расширение для отчетов или даже другую базу данных, более подходящую для таких запросов аналитики.

Если вы хотите остановиться в PostgreSQL, вы можете занять materialized views, что позволит вам сохранить результаты просмотра (где будет отображаться ваш запрос анализа).