Повторное использование кэшированного Spark RDD

Question

Есть ли возможность в Spark повторно использовать кэшированную RDD в другом приложении (или в другом запуске того же приложения)?

JavaRDD<ExampleClass> toCache = ... // transformations on the RDD 
toCache.cache();     // can this be reused somehow in another application or further runs? 

Answer 1

Нет, Spark RDD не может использоваться в других приложениях или в другом цикле.

Вы можете подключить Spark к примеру Hazelcast или Apache Ignite, чтобы сохранить RDD в памяти. У другого приложения будет возможность считывать данные, сохраненные в первом приложении