Какие операции сохраняют заказ RDD?

Question

RDD имеет значащий (в отличие от случайного порядка, заданного моделью хранения), если он был обработан sortBy(), как объяснено в этом reply.

Какие операции сохранить, что заказ?

Е.Г., это гарантируется, что (после a.sortBy())

a.map(f).zip(a) === 
a.map(x => (f(x),x)) 

Как насчет

a.filter(f).map(g) === 
a.map(x => (x,g(x))).filter(f(_._1)).map(_._2) 

насчет

a.filter(f).flatMap(g) === 
a.flatMap(x => g(x).map((x,_))).filter(f(_._1)).map(_._2) 

Здесь "равенство" === понимается как «функциональная эквивалентность», то есть невозможно отличить результат с использованием операций на уровне пользователя (то есть без чтения журналов & c).

Answer 1

Все операции сохраняют заказ, за ​​исключением тех, которые явно нет. Заказ всегда «значим», а не только после sortBy. Например, если вы читаете файл (sc.textFile), строки RDD будут находиться в том порядке, в котором они были в файле.

Не пытаясь дать полный список, map, filter, flatMap и coalesce (с shuffle=false) сделать сохранить порядок. sortBy, partitionBy, join не сохраняют заказ.

Причина в том, что большинство операций с RDD работают на Iterator с внутри разделов. Таким образом, map или filter просто не может испортить заказ. Вы можете посмотреть на code, чтобы убедиться сами.

Теперь вы можете спросить: что делать, если у меня есть RDD с HashPartitioner. Что происходит, когда я использую map для изменения ключей? Ну, они останутся на месте, и теперь RDD не разделяется ключом. Вы можете использовать partitionBy для восстановления разбиения с помощью тасования.