Чтение IBM MQ в Hadoop

Question

У меня есть кластер HDP2.1. Я хочу получить данные от IBM MQ прямо в Hadoop, Изучая инструменты, которые могут это сделать для меня

Какой инструмент будет лучше с точки зрения производительности и уровня производства? Я проверил лоток (источник JMS), но не уверен, будет ли работать на уровне производства.

Шторм не очень хорошо подключения к IBM MQ согласно http://hortonworks.com/blog/discover-hdp-2-2-apache-kafka-apache-storm-stream-data-processing/

Есть ли другой инструмент уровня производства, который я могу использовать?

Answer 1

IBM Streams может сделать это довольно легко. Продукт поставляется с двумя инструментарии, чтобы сделать это:

1) streamsx.messaging (http://ibmstreams.github.io/streamsx.messaging/) - это набор инструментальных средств обеспечивает оператору JMSSource для считывания данных из Websphere MQ

2) streamsx.hdfs (http://ibmstreams.github.io/streamsx.hdfs/)

вы можете построить приложение Streams, как это:

JMSSource -> некоторая обработка -> HDFS2FileSink

Для получения дополнительной информации о IBM Streams, вы можете тусклый t, чтобы проверить этот сайт: http://ibmstreams.github.io/

Надеюсь, это поможет.