Что такое зависимость RDD от Spark?

Question

Как я знаю, существуют два типа зависимостей: узкий & широкий. Но я не понимаю, как зависимость влияет на ребенок RDD. Есть ребенок RDD только метаданные, содержащие информацию о том, как строить новые блоки RDD от parent RDD? Или ребенок RDD является самодостаточным набором данных, который был создан с parent RDD?

Answer 1

Да, дочерний RDD - это метаданные, которые описывают, как вычислять RDD из родительского RDD.

Рассмотрим org/apache/spark/rdd/MappedRDD.scala, например:

private[spark] 
class MappedRDD[U: ClassTag, T: ClassTag](prev: RDD[T], f: T => U) 
    extends RDD[U](prev) { 

    override def getPartitions: Array[Partition] = firstParent[T].partitions 

    override def compute(split: Partition, context: TaskContext) = 
    firstParent[T].iterator(split, context).map(f) 
} 

Когда вы говорите rdd2 = rdd1.map(...), rdd2 будет такой . compute выполняется только позже, например, когда вы звоните rdd2.collect.

RDD всегда такие метаданные, даже если у него нет родителей (например, sc.textFile(...)). Единственный случай, когда RDD хранится на узлах, - это если вы пометили его для кэширования с помощью rdd.cache, а затем вызывают его вычисление.

Другая подобная ситуация вызывает rdd.checkpoint. Эта функция отмечает RDD для контрольной точки. В следующий раз, когда он будет вычислен, он будет записан на диск, а позже доступ к RDD заставит его читать с диска вместо пересчета.

Разница между cache и checkpoint заключается в том, что кэшированный RDD по-прежнему сохраняет свои зависимости. Кэшированные данные могут быть отброшены под давлением памяти, и их, возможно, придется пересчитать частично или полностью. Это не может произойти с контрольным RDD, поэтому зависимости отбрасываются там.