Почему у Flume должен быть источник AMQP?

Question

Flume имеет несколько сторонних плагинов для поддержки источника AMQP. Почему мы хотим отправить сообщение на rabbitmq или qpid, а затем на лоток, а не на лоток? Я что-то не хватает?

Кроме того, в каких случаях я должен использовать очереди обмена сообщениями, такие как Qpid, rabbitMQ и когда что-то вроде Flume? Я читал Qpid, RabbitMQ гарантировали доставку, что не важно в моем случае. Любые другие отличия?

Можем ли мы добавить каналы и динамически погрузиться в работающий фломастер? Добавляя новый канал к источнику с помощью растрового файла, он не требует какого-либо изменения кода только для изменения файла конфига и перезапуска. Есть ли способ сделать это динамически, без перезапуска летевшего агента

Answer 1

Это зависит от вашего используемого варианта. Как вы уже упоминали, в вашем случае использования заказанная доставка не важна, тогда может быть установлен флажок. Из-за этой функции поток намного быстрее, и он имеет более дешевую установку отказоустойчивости. Check this link для более подробной информации.

Кроме того, Flume хорошо подходит при работе с окружающей средой Hadoop (HDFS как раковина), поскольку на самом деле она эволюционировала от этого. И вы также видите по той же причине варианты использования, где RabbitMQ (как исходные) сообщения проталкиваются через Flume.