Kafka-Connect vs Filebeat & Logstash

Question

Я ищу, чтобы потреблять из Kafka и сохранять данные в Hadoop и Elasticsearch. Я видел два способа сделать это в настоящее время: используя Filebeat для потребления из Kafka и отправляйте его в ES и используя инфраструктуру Kafka-Connect. Существует модуль Kafka-Connect-HDFS и Kafka-Connect-Elasticsearch.

Я не уверен, какой из них можно использовать для отправки потоковых данных. Хотя я думаю, что если я захочу в какой-то момент взять данные из Kafka и поместить его в Cassandra, я могу использовать для этого модуль Kafka-Connect, но такой функции для Filebeat не существует.

Answer 1

Kafka Connect может обрабатывать потоковые данные и является более гибким. Если вы просто собираетесь эластично, Filebeat - это чистая интеграция для журнальных источников. Однако, если вы отправляетесь из Kafka в несколько разных раковин, Kafka Connect, вероятно, вы хотите. Я бы рекомендовал проверить концентратор соединителя, чтобы увидеть некоторые примеры разъемов с открытым исходным кодом в вашем распоряжении в настоящее время http://www.confluent.io/product/connectors/