2015-03-17 2 views
1

Я работаю над ad-hoc real-time stream processing framework, который использует библиотеку java-chronicle для обмена данными между строительными блоками.Удалить записи из хроники

В хронике используется дисковое пространство для хранения элементов, добавленных в очередь, и увеличивается с каждым новым сообщением.

Поскольку я использую сообщения только один раз - поведение воспроизведения поддерживается кафкой вне элементов обработки - обработанные элементы могут быть удалены и, таким образом, очищены от диска. Есть ли способ освободить пространство, затраченное на файлы хроники, просто удалив записи из него?

Альтернативный подход заключается в том, чтобы открывать новые хроники после фиксированного количества сообщений, а также отслеживать уже употребленные хроники, которые затем удаляются с диска. ... но это, похоже, не очень гладкое решение ;-)

Итак, мой вопрос в том, есть ли подход к удалению обработанных/tail'ed записей из хроники?

ответ

1

Теперь вы можете обнаружить, когда цикл повернут и удалить старые файлы. например один раз в день.

Предполагается, что стоимость дискового пространства дешевая, хотя это не всегда правильно.

Смежные вопросы