Flume NG FileChannel очень медленный

Question

Я экспериментировал с flume ng (flume-ng-1.2.0 + 24.81-1 ~ lucid) и сравнивал производительность канала памяти и файлового канала.

Каждое событие в моей тестовой системе имеет размер 1 КБ и с моей текущей конфигурацией я могу обрабатывать около 30 000 EPS, используя канал памяти. Однако при использовании файлового канала я могу обрабатывать только 1600 EPS.

В среднем я ожидаю получить в среднем около 2500 EPS на моей производственной системе, и я хотел бы использовать для файла канал, чтобы обеспечить буферизацию событий примерно на 1 час в случае отказа приемника (я использую HDFS-приемник с соединением 1 Гбит/с с кластером hadoop).

Это моя конфигурация канала файла:

agent.channels.c1.checkpointDir = ~/.flume/file-channel/checkpoint 
agent.channels.c1.dataDirs = ~/.flume/file-channel/data 
agent.channels.c1.transactionCapacity = 13107200 
agent.channels.c1.checkpointInterval = 30000 
agent.channels.c1.maxFileSize = 9216000000 
agent.channels.c1.minimumRequiredSpace = 524288000 
agent.channels.c1.capacity = 9000000 
agent.channels.c1.keep-alive = 3 
agent.channels.c1.write-timeout = 3 
agent.channels.c1.checkpoint-timeout = 600 
agent.channels.c1.use-log-replay-v1 = FALSE 
agent.channels.c1.use-fast-replay = FALSE 

Размер пакета для моего HDFS раковины был установлен в 5000.

Можно ли делать какие-либо рекомендации относительно того, как я могу улучшить производительность моего файловый канал?

Благодаря

Answer 1

версия 1.2.0 очень странно. Текущая версия версии 1.3.1.

Сказанное, багажник 1.4.0-SNAPSHOT и ~ может ~ получить выпуск в конце июня. Я считаю, что в FileChannel было несколько обновлений за это время, поэтому вам может потребоваться повторная проверка с использованием сборки. (mvn install -Dmaven.test.skip=true - твой друг).

Во-вторых, вы считали, указывая на контрольно-пропускной пунктDir и dataDirs на своих собственных дисках?