Я новичок в искры. Можно ли использовать RDD, определенный в разных условиях искры? если да как.Может ли RDD получить доступ к разным контекстам искры
Т.е.
Мы создаем один RDD таблицы hive t1 в контексте искры1.
Можем ли мы использовать (см.) RDD в разных искрах.
Спарк обыкновение поддерживать обмен РДД между двумя различными sparkcontext, но то же самое может быть достигнуто с помощью
а] Тахионный
б] Apache Ignite: Ignite provices igniteContext с помощью которой вы можете поделиться РДУ. IgniteRDD - это реализация собственных API-интерфейсов Spark RDD и DataFrame, которые, помимо всех стандартных функций RDD, также делят состояние RDD на другие рабочие места Spark, приложения и рабочие.
RDD привязан к приложению, поэтому его нельзя распространять среди приложений. Вы просто сохраняете данные (например, на HDFS, S3) и читаете их из другого приложения в качестве RDD.
Да, вы можете сделать это с помощью апача воспламенить так пройти по ссылке https://ignite.apache.org/