Спарк Checkpoint

Question

Я создал RDD нравится следующим образом:

scala> val x = List(1,2,3,4) 
x: List[Int] = List(1, 2, 3, 4) 

scala> val y = sc.parallelize(ls,2) 
y: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[10] at parallelize at <console>:29 

scala> val z = y.map(c => c*2) 
z: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[11] at map at <console>:31 

scala> sc.setCheckpointDir("/tmp/chk") 

scala> z.checkpoint 

scala> z.count 
res32: Long = 4 

Мой вопрос заключается в том, чтобы прочитать данные из контрольной точки каталога

Answer 1

Как @Yuval Itzchakov указывает, мы действительно не должны играть с контрольно-пропускных пунктах , Контрольные точки используются Spark для достижения отказоустойчивости. Он широко используется в потоковых заданиях для состояния контрольной точки, и когда неудачник не работает, можно создать новый, и данные могут быть загружены с контрольных точек.

Контрольные точки также имеют проблемы, когда вы меняете свой код и хотите продолжить работу, когда был остановлен последний запуск задания, поскольку он хранит код вместе с состоянием.

Вы на самом деле смотрите на persist или cache RDD?