RRD Данные временных рядов

Question

Я работаю для компании, которая получает данные от интеллектуальных счетчиков. Эти данные могут составлять до 2 дней для прямого потока и могут быть заполнены почтой в случае ошибок (пробелы и т. Д.). В настоящее время мы сохраняем это обычно в течение 5 лет. Затем данные втягиваются в куб SSAS и объединяются в 1 минуту, 5 м, 30 м, 1 ч, 1 день, 1 неделю, 1 мес. Для каждой из этих агрегатов также сохраняется Min, Max, Avg. Построение этого куба медленное и в настоящее время не масштабируемо, поскольку оно заносит свои данные из уникального источника.

Я думаю, что база данных стиля RRD для каждой точки данных была бы лучше приспособлена, управляемой нажатием данных. Однако у меня есть несколько вопросов о RRD (примерах было бы только приветствовать)

1. Может RRD сохраняющей детализации данных в том же время выполняя бросок вверх над временем?
2. Можно ли подавать данные в RRD для исправления пробелов?

Спасибо.

примеры будут приветствоваться

Answer 1

1. Да - вы должны настроить RRAS соответствующим образом.

RRA - это круговой архив и определяет количество точек данных и разрешение. Таким образом, вы можете - если за 5 минут частоты дискретизации:

RRA:AVERAGE:0.5:1:2000 
RRA:AVERAGE:0.5:12:2400 

Проведет около недели резолюции ой и 100d резолюции 1ча. Но вы могли бы легко расширить свой RRA с разрешением 5 м - хотя это сделает ваш RRD больше. Вопрос в том, на самом деле вам нужно? Весь смысл RRD - это автоматическое архивирование или графическое разрешение, смотрящее на статистику за год, и вы все равно не можете отображать разрешение 5 м. С 5-м образцами график ширины 1600 пикселей в любом случае составляет всего около 6 дней.

2. Да, но из-за того, как работает RRD, это несколько раздражает. Эффективно вам нужно извлечь и воспроизвести данные, чтобы заполнить пробелы. Это не обязательно работает слишком хорошо, если вы «переигрываете» вещи, где вы потеряли разрешение, потому что у вас не будет достаточного количества образцов. Вы можете использовать rrdtool dump для извлечения содержимого RRD в форме XML, которую вы также можете изменить напрямую, а затем rrdtool restore. Если вам нужно сделать это с любой реальной частотой, я бы предложил использовать что-то другое, кроме rrdtool.