Spark Streaming Обработка в реальном времени

Question

Мне нужно приложение, которое позволяет общаться между работниками. Предположим, что рабочий 1 работает над заданием 1, и он будет генерировать вывод данных, на который полагаются другие работы. Кроме того, этот процесс следует повторять много раз, а это означает, что каждый раз, когда новый набор данных, созданный рабочим 1, другие работники должны начинать вводить этот набор данных и выполнять свои задания. Может ли это исправить? До сих пор я видел искрообразование в реальном времени, но потоковое общение, похоже, не происходит между рабочими? Будут оценены любые направления или предложения.

Answer 1

Вы должны определить необходимые операции один за другим в одном одиночном задании Spark Streaming.

Хотя я еще не пробовал, но вы также можете попробовать использовать некоторые компоненты рабочего процесса, такие как Oozie, для настройки стандартных пакетных заданий Spark (Not Streaming).

Недавно Spring XD также внедрила интеграцию с Spark Jobs. Это может также работать - http://www.slideshare.net/mark_fisher/spark-meets-spring.