Нужна помощь в файле конфигурации Apache Flume

Question

Привет У меня есть некоторые сомнения относительно конфигурации водопропускной для анализа журналов из журнала многоисточниковое производит серверы

у меня есть 2 Apache-серверов, работающих в ОС Linux серверов. и один узел работает с HDFS, и все демоны работают в одном узле.

1. В каком узле (-ях) необходимо установить лоток для сбора потоковых журналов с обоих серверов и загрузки в БД HDFS.
2. Просьба предоставить файл (-ы) конфигурации потока для этого сценария. При этом, если мы хотим, чтобы захватить потоки, используя команду: хвост -f /home/tomcat/webapps/logs/catalina.out

Answer 1

Что касается вашего первого вопроса:

1.In какой узел (узлы), необходимо установить для сбора потоковых журналов с обоих серверов и загрузки в HDFS DB.

Flume должны быть установлены на каждом сервере апача читать журналы Apache, а затем отправить записи в HDFS

ПРИМЕЧАНИЕ: Не забудьте при установке Apache Flume включить банку HDFS/плагин, чтобы при запуске он фактически отправил записи в HDFS и не дал вам ошибок. Также убедитесь, что лоток на узле Tomcat Apache имеет доступ к узлу и порту HDFS, на котором он запущен.

Что касается Вашего второго вопроса:

2.Please обеспечивает конфигурации желоба файл (ы) для этого сценария. При этом, если мы хотим, чтобы захватить потоки, используя команду: хвост -f /home/tomcat/webapps/logs/catalina.out

Что касается конфигурации Flume, в частности «источник»: Вот пример конфигурации:

# Describe/configure the source for tailing file 
agent.sources.SrcLog.type = exec 
agent.sources.SrcLog.command = tail -F /home/tomcat/webapps/logs/catalina.out 
agent.sources.SrcLog.restart = true 
agent.sources.SrcLog.restartThrottle = 1000 
agent.sources.SrcLog.logStdErr = true 
agent.sources.SrcLog.batchSize = 50 

более подробно смотрят на Apache Flume User Guide