Хранить статистические данные с пониженной точностью во времени

Question

Есть ли специальный формат данных, подход или наилучшая практика для хранения данных, например. в базе данных mysql с пониженной точностью с течением времени?

Представьте себе, я хотел бы, чтобы отобразить количество просмотров на сайте с

• почасовую точность за последние 24 часа
• ежедневно прецизионного за последние 7 дней
• еженедельно точности для последние X месяцев

и так далее ...

Nagios, похоже, что-то вроде этой сборки: вы можете в любое время масштабировать диаграммы, не заметив при этом плохого распределения точек данных.

Конечно, я мог бы просто сохранить его подробным для всех времен и просто заполнить через GROUP BY, но я ищу хороший компромисс относительно количества данных, которые я должен хранить, и возможности проверки тенденции с течением времени.

Есть ли какие-либо стратегии в отношении этого? Что мне нужно искать в Google? Я не могу найти что-нибудь, возможно, мне не хватает ключевого слова для включения.

Answer 1

В этом есть несколько стратегий, попробуйте найти «базу данных временных рядов». Вы найдете несколько результатов о том, как осуществить это самостоятельно, или использовать базы данных, специально предназначенные для этого типа данных:

• InfluxDB
• OpenTSDB
• MongoDB (Не действительно базы данных временных рядов, но вы могли бы измените свой код настройки и приложения, чтобы он работал как один, я сам это делаю.

Answer 2

RRDtool был создан специально с целью хранения временных рядов с уменьшением точности. у. Несколько инструментов мониторинга системы используют его для хранения данных о производительности.