Как лучше всего поддерживать базу данных со средними значениями времени?

Question

Я хочу сохранить средние значения некоторых данных, которые иногда генерируются пользователями, которые затем я использую в своем приложении для прогнозирования будущих данных. Теперь проблема заключается в том, что эти данные могут сильно измениться в течение дня - так, например, пользователи, приходящие в ночное время, могут генерировать гораздо более низкие значения, чем пользователи, входящие в течение утра, поэтому простое сохранение простого среднего не даст мне разумного точность прогнозирования.

Некоторое мне нужно сохранить какое-то среднее по времени - например, наивное решение должно состоять в том, чтобы хранить среднее значение для каждого часа дня - поэтому я сохраняю 24 средних значения, один для всех пользователей, которые генерируют данные между 12AM и 1AM, второй для всех пользователей, которые генерируют данные между 1AM и 2AM и т. Д.

У меня есть только несколько проблем с этим подходом: 1. правильно предсказать данные. Мне все равно нужно проконсультироваться с несколькими значениями (скажем, через 2 часа и 2 часа назад), которые я не могу у вас есть ресурсы. Я скорее проконсультируюсь с одним значением, если это не слишком сильно повлияет на мою точность. 2. Я также хочу, чтобы эти данные запоминались только в последнее время - если очень низкие значения, сгенерированные пару лет назад, но с прошлого месяца все генерируют высокие значения, то для прогнозирования данных на ближайшее будущее мне нужно быть в состоянии ответить лучше, чем то, что среднее из всех когда-либо созданных данных может дать мне. Ради аргументации можно сказать, что все более старые, чем 90 дней, не очень актуальны. 3. Причина, по которой я хочу использовать среднее значение, а не просто хранить все данные, когда-либо создаваемые пользователями, - это то, что я ожидаю много данных - мне нужно хранить такие данные для каждой из 100 000, для миллионов еженедельных записей данных от пользователей - как минимум. Я также могу захотеть разделить данные еще дальше для каждой точки данных - возможно, на основе некоторой классификации пользователей.

Я был бы признателен, если кто-нибудь может дать мне несколько советов о том, как лучше рассчитать свои средние данные без необходимого огромного хранилища данных :-)

[намек - да, его для применения ГИС]

Answer 1

Похоже, в вашем наборе данных есть два важных бита информации. Сколько дней осталось данных, и в какой час дня это происходит.

Прогнозируемое значение для будущего времени может быть рассчитано как взвешенное среднее по набору данных с уменьшением веса с возрастом и уменьшением также с тем, насколько далеко от часа для прогнозируемого значения.

Edit: если главное не висит на данные:

Установки бункеров, как вы предлагаете (наивное решение) кажется наиболее разумным подходом. По мере того, как новые данные поступают и «усредняются» с бинными данными, новым данным может быть придана больший вес, чтобы помочь последним изменениям преодолеть «инерцию» всех исторических данных.

Answer 2

Вы просматривали формулы расчета средних скользящих средних? Существует несколько методов: defined on wikipedia.

Answer 3

Я думаю, что круглая база данных robin (например, rrdtool) идеально подходит для ваших целей. Независимо от вашего любимого языка, есть, конечно, API программирования.

С наилучшими пожеланиями, Ной

Answer 4

Почему бы не просто хранить все генерироваться пользовательские значения, а затем вычислить точно, что вы хотите, когда вы этого хотите? Вы всегда можете настроить сценарий архивации, чтобы очистить старые данные, когда вам это больше не нужно.

Таким образом, вы не вводите неточности, выполняя вычисления с вычисленными значениями.

Answer 5

Используйте для расчета ожидаемых значений. Таким образом, вы получаете динамическое построение своих средств, и его просто запросить.