Apache Nifi с датчиками IOT

Question

Im new для Apache Nifi, и у меня есть вариант использования, который мне нужно разобрать и декодировать различные сообщения от датчиков, преобразовать и загрузить данные в Hbase, все мои датчики отправляют данные каждые 10 через API через почтовый запрос, то, что я сделал сейчас, - это служба с JAVA, которая прослушивает определенный порт и выполняет весь поток данных ETL, любая идея, как я могу использовать Apache Nifi для этого варианта использования?

Answer 1

Ваш случай использования звучит как вид потока данных NiFi был построен для обработки, а NiFi обладает определенными возможностями, которые вам понадобятся. В NiFi есть несколько процессоров, которые могут помочь вам внедрить веб-службу HTTP.

• ListenHTTP - Простой прием от HTTP к потоковому файлу через POST.

• HandleHttpRequest и HandleHttpResponse - Комбинация процессоров для лучшего контроля HTTP-глаголов и кодов ответов на основе обработки потока файла.

Nifi также процессоры для работы с HBase, особенно PutHBaseJSON для вставки исходных данных JSON в HBase.

В дополнение к этим конкретным процессорам NiFi имеет множество процессоров для формирования и маршрутизации ваших данных. Я рекомендую посмотреть на некоторые из Example Dataflow Templates, некоторые появляются непосредственное отношение к вашему делу:

• Hello NiFi Web Service
• Fun with HBase