Является ли Spring XD правильным выбором инструмента?

Question

Мы строим платформу M2M IoT, а часть экосистемы - это компонент хранения и анализа больших данных.

Платформа соединяет устройства на одном конце и обеспечивает вывод потоковых данных с использованием ActiveMQ для взаимодействия с областью приложений Big Data.

Я сейчас проектирую этот средний слой, который принимает машинные данные, работает в режиме реального времени и сохраняет эти данные в модуле хранения Hadoop.

Из того, что я вижу, Spring XD, похоже, способен организовать этот процесс от проглатывания, фильтрации, обработки, анализа и экспорта до Hadoop.

Однако я не знаю никого, кто бы сделал что-то подобное. Кто-нибудь здесь, кто выполнил что-то подобное? Вам нужна ваша обратная связь в выборе инструмента для промежуточного программного обеспечения.

Answer 1

Весна XD отличная с RabbitMQ, для ActiveMQ вы можете использовать разъем JMS.

Дополнительную информацию см. В разделе «Весенняя интеграция», которая является основной основой и существует навсегда.

Весна XD работает на YARN или Zookeeper, которые являются очень прочными.

Я видел, что он использовался для оркестровки больших данных в нескольких местах.