Apache Spark: указатель ссылки на родительский RDD

Question

Я понимаю, что SPARK поддерживает информацию о линии для RDD. Предположим, что у меня есть RDD «a» и, используя некоторое преобразование, я создаю новый RDD «b». В таком сценарии «a» является родительским RDD «b». Возможно ли вернуть RDD «a» из RDD «b» путем ссылки на родительский указатель?

Спасибо!

Answer 1

Это зависит от того, что реальный вопрос:

• да - Если вы расширяете RDD, например. Это необходимо для большинства реализаций метода compute.
• no - зависимости не являются общедоступными, поэтому вы не можете получить родителей из экземпляра RDD.