Я хочу проверить и посмотреть, стоит ли призывать код искры от штормового болта. У нас есть система, основанная на потоках в Storm. Поэтому для сообщения мы хотели бы сделать это ML, и мы думаем использовать Spark для этого. Поэтому хотелось бы проверить, хорошо ли это сделать. Любые проблемы времени выполнения, с которыми мы можем столкнуться?Шторм и искра
Благодаря ар
, если у вас уже есть система в месте с Storm, то почему вы хотите использовать Спарк?
ИМХО И искры и шторм - это разные зверь, вы можете запускать их параллельно для тех же или разных вариантов использования, но не плотно объединяйте друг друга.
Что значит ML за сообщение? ML на одном сообщении не имеет большого смысла. Вы имеете в виду ML на потоке? Конечно, вы можете сделать это с помощью Spark, но тогда вам нужно либо использовать Spark Streaming (и у вас есть две потоковые архитектуры ...), либо сохранить данные где-нибудь и сделать пакет ML с помощью Spark.
Почему бы не использовать trident-ml?
Вы считали использование искрового потока вместо этого? – maasg
Буря построена. Таким образом, мы не планируем переписывать сейчас Spark-streaming. – user4785146