Flume: Невозможно исправить размер выходного файла раковины

Question

Я пытаюсь исправить размер выходного файла раковины. i.e Я пытаюсь получить 128 МБ каждого выходного файла. Я попробовал несколько механизмов (rollInterval, rollCount, rollSize), но я не получил желаемого результата. Я не получаю последовательно 128 МБ файлов. Сначала я получаю немного 128 МБ файлов, но позже некоторые файлы генерируются с разными размерами, такими как 30,40 45 МБ и т. Д. А также много новых файлов открывается и остается в состоянии .tmp. Есть идеи?

Answer 1

Я не думаю, что можно всегда создавать файл размером 128 МБ. Если данные суммирования суммируются случайным образом (я имею в виду не постоянный размер) или данные постоянного размера, но не кратно вашему запрашиваемому размеру, это будет всегда создавайте файлы меньшего размера, чем 128.

Я думаю, вам нужно иметь постоянный поток очень маленьких данных, и тогда у вас всегда будет файл tmp, если только он не будет заполнен (имеет размер 128 МБ). Но если вы контролируете каталоги, тогда файлы должны быть кратными 128, а не то, что у вас будет файл деталей меньшего размера.

Надеюсь, я правильно понял вашу проблему.