Скорость выборки Apache Flume

Можно ли указать частоту дискретизации для Flume, прежде чем записи будут записаны в HDFS? Есть ли какая-то конфигурация сливного лотка для этого, или нам нужно написать наш собственный перехватчик Flume для отбора проб? Я не смог найти документацию на странице руководства пользователя Apache Flume.Скорость выборки Apache Flume

источник

2015-01-12 anonymous123

Да, вы можете добиться того, что путем указания размеров партий в HDFS тонуть:

hdfs.batchSize = 100 // 100 is the default.

Вы также должны убедиться, что вы указали пропускную способность канала, что является достаточно большим, слишком.

источник

2015-01-13 11:20:51

Благодарим за это, но предположим, что я хочу случайным образом опробовать данные, размер пакета не будет делать это правильно? – anonymous123

Это может быть достигнуто с помощью перехватчика - RgexInterceptor - пример, который фильтрует события, но любая другая реализация будет выполнена. –

Скорость выборки Apache Flume

ответ

Смежные вопросы