Действия на одном и том же Apache Spark RDD вызывают повторное выполнение всех операторов

Question

Я использую Apache Spark для обработки огромного количества данных. Мне нужно выполнить многие действия Spark на том же RDD. Мой код выглядит следующим образом:

val rdd = /* Get the rdd using the SparkContext */ 
val map1 = rdd.map(/* Some transformation */) 
val map2 = map1.map(/* Some other transformation */) 
map2.count 
val map3 = map2.map(/* More transformation */) 
map3.count 

Проблема заключается в том, что вызов второго действия map3.count вынуждает повторное выполнение преобразований rdd.map и map1.map.

Что, черт возьми, происходит? Я думаю, что DAG, созданный Spark, несет ответственность за это поведение.

Answer 1

Это ожидаемое поведение. Если один из предков не может быть извлечен из кеша (обычно это означает, что он был явно или неявно сохранен во время перетасовки), каждое действие будет перекомпоновно целой линии.

Вычисление может быть также инициировано, если RDD сохранено, но данные были потеряны/удалены из кеша или объем доступного пространства - с низким, чтобы сохранить все записи.

В данном конкретном случае вы должны cache в следующем порядке

... 
val map2 = map1.map(/* Some other transformation */) 
map2.cache 
map2.count 
val map3 = map2.map(/* More transformation */) 
... 

, если вы хотите, чтобы избежать повторного оценки rdd, map1 и map2.