Stateful and Stateless Streaming (Spark)

Question

Я знаю разницу между процессами потоковой передачи состояния и состояния. Я читал, что Шторм не имеет гражданства, а Трезубец - сдержанный. Я также читал, что Hadoop (для пакетной обработки) является сдержанным и что Spark может вычислять операции с сохранением состояния.

Может ли кто-нибудь прояснить каждый из этих вопросов? В частности,

1. Может ли искра выполнять как операции с состоянием, так и без гражданства?
2. Что означает, что Hadoop является сдержанным, поскольку мы говорим только о пакетной обработке, когда речь идет о Hadoop.
   3. Как Apache Storm обрабатывает потоки состояния? (С помощью Trident?)

Answer 1

1-да искра есть с сохранением состояния и лица без операции Stateful поток Обработка с mapWithState

для получения дополнительной информации см https://databricks.com/blog/2016/02/01/faster-stateful-stream-processing-in-apache-spark-streaming.html

2-Hadoop является состоянием, потому что его прочитать один раз