Импорт из Кафки в HBase

Question

Я следующий сценарий:

Файлы загружаются через веб-службы и должны быть разобраны и затем хранится в HBase. Каким будет наиболее подходящий способ сделать это?

Я планировал поставить что-то вроде Шторма между ними, но также нашел варианты, такие как Flafka.

Какие подходы существуют и какими будут положительные/отрицательные стороны их использования?

Answer 1

Существует множество различных подходов для выполнения вашей задачи. Я предпочитаю Apache Spark - вы можете использовать scala, и у него отличная интеграция Kafka из коробки. Вместо Storm вы можете использовать Spark-Streaming (расширение Spark для создания потоковых заданий)