Я знаю разницу между узкими и широкими преобразованиями для RDD. Мой вопрос: каковы параметры, которые удостоверяют карту, плоскую карту как узкую? Почему эти преобразования не являются широкими? Любые предложения по учебному материалу RDD приветствуются.Почему трансформация карты узкая?
- Узкая зависимость: RDD операции, такие как карты, объединение, фильтр может работать на одном разделе и отобразить данные этого раздела в результате чего один раздел. Такие операции, которые отображают данные из одного раздела, называются узкими операциями. Узкие операции не требуют распространения данных по разделам.
- Широкая зависимость: операции RDD, такие как groupByKey, различаются, объединение может потребовать сопоставления данных по разделам в новом RDD. Такие операции, которые отображают данные от одного до многих разделов, называются широкомасштабными операциями
Другой способ подумать об этом. Любая строка дочернего RDD будет зависеть только от одной строки родительского RDD. Поскольку каждая дочерняя строка может указывать на 1 родительскую строку, от нее зависит, существует узкая зависимость.