У меня есть вопрос о Nifi и его возможностях, а также соответствующий прецедент для него.Использование случаев NIFI
Я читал, что Nifi действительно стремится создать пространство, которое позволяет обрабатывать потоки. Поиграв немного с Nifi, я понял, что это возможность моделировать/форматировать данные таким образом, который мне очень полезен. Можно ли сказать, что Nifi также может использоваться для моделирования данных?
Спасибо!
Моделирование данных может означать много вещей для многих людей, поэтому я буду осторожен, чтобы использовать этот термин здесь. То, что я думаю в том, что вы просите, очень ясно, так это то, что Apache NiFi - отличная система, которая поможет вам форматировать данные в правильном формате, схеме и контенте, которые вам нужны для последующей аналитики и обработки. NiFi имеет расширяемую модель, поэтому вы можете добавлять процессоры, которые могут это сделать, или вы можете использовать существующие процессоры во многих случаях, и вы даже можете использовать процессоры ExecuteScript, чтобы вы могли писать сценарии «на лету», чтобы манипулировать данными.
Моделирование данных - это немного перегруженный термин, но в контексте вашего желания моделировать/форматировать данные таким образом, который вам пригодится, похоже, что это может быть жизнеспособным подходом. Остальная часть этого находится в этом предположении.
В то время как NiFi использует поток данных через принципы и дизайн, тесно связанные с потоковым программированием (FBP) в качестве средства, функция заключается в получении данных от точек A до B (и, возможно, обратно). Разумеется, системы не по своей сути говорят в тех же протоколах, форматах или схемах, поэтому необходимо что-то форматировать данные в том, что потребитель ожидает от того, что производитель производит. Это приводит к общим схемам интеграции предприятий (EIP) [1], таким как посредничество и маршрутизация. В более широком смысле, это просто получение данных тем, кто в ней нуждается (системы, пользователи и т. Д.), Когда и как им это нужно.
Джо Витт, один из создателей NiFi, дал отличный разговор, который может соответствовать этой идее формирования данных в контексте Data Science на Meetup. Слайды из которых доступны [2].
Если у вас есть дополнительные вопросы, я хотел бы указать вам, чтобы просмотреть списки рассылки сообщества [3] и задать дополнительные вопросы, чтобы вы могли копать больше и получить более широкую перспективу.