Apache Flume multiple agent

Question

Я протестировал Apache Flume для передачи файлов с локальных в HDFS. Но если исходные файлы с нескольких серверов (передача файлов с разных локальных серверов на HDFS), могу ли я запустить один экземпляр Flume и просто добавить больше агентов в flume-conf.properties?

Если я могу, как я могу изменить следующие параметры в flume-conf.properties:

agent1.sources.spooldirSource1.spoolDir = ?(server1/path) 
agent2.sources.spooldirSource2.spoolDir = ?(server2/path) 

А также, как я могу запустить желоб?

./flume-ng agent -n agent -c conf -f apache-flume-1.4.0-bin/conf/flume-conf.properties 

может работать только один лоток. Как насчет более двух?

Answer 1

Добавьте несколько источников для того, что вам нужно, но настройте их на использование одного и того же канала, который затем будет использовать тот же источник. Так что это что-то вроде (обратите внимание, что этот фрагмент неполный):

agent1.sources.spooldirSource1.spooldir = server1/path 
agent1.sources.spooldirSource1.channel = myMemoryChannel 
agent1.sources.spooldirSource2.spooldir = server2/path 
agent1.sources.spooldirSource2.channel = myMemoryChannel