Я пытаюсь написать встроенный агент flume в моем веб-сервисе, чтобы перенести мои журналы в другой кластер, в котором работает мой агент flume. Для работы с Embedded flume agent нам нужно, чтобы hasoop запускался на сервере, на котором работает моя веб-служба.Требуется ли встроенный фломастер для использования в кластере?
TLDR: думаю, нет.
Longer версия: Я не проверял, но в руководстве для разработчиков (https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent) он говорит
Примечание: Встроенный агент имеет зависимость от Hadoop-core.jar.
(https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent)
И в руководстве пользователя (https://flume.apache.org/FlumeUserGuide.html#hdfs-sink), вы можете указать путь HDFS:
HDFS путь к каталогу (например HDFS: // NameNode/желоб/Webdata /)
С другой стороны, вы уверены, что хотите работать со встроенным агентом вместо запуска Flume, где вы хотите поместить данные, и использовать HTTP-источник для exa mple? (https://flume.apache.org/FlumeUserGuide.html#http-source) (... или любой другой источник, на который вы можете отправить данные)