Spark: увеличить количество разделов, не вызывая перетасовки?

Question

При уменьшении количества разделов можно использовать coalesce, что отлично, потому что оно не вызывает перетасовку и, кажется, работает мгновенно (не требуется дополнительный этап задания).

Иногда я хотел бы сделать обратное, но repartition вызывает перетасовку. Я думаю, что несколько месяцев назад я получил эту работу, используя CoalescedRDD с balanceSlack = 1.0. Так что бы это произошло, так это разделение раздела так, чтобы результирующие разделы размещались там, где все на одном узле (так малое сетевое IO).

Этот тип функциональности является автоматическим в Hadoop, один просто изменяет раздельный размер. Кажется, что он не работает таким образом в Spark, если не уменьшается количество разделов. Я думаю, что решение может состоять в том, чтобы написать пользовательский разделитель вместе с настраиваемым RDD, где мы определяем getPreferredLocations ... но я думал, что это такая простая и обычная вещь, чтобы сделать, конечно, должен быть прямой способ сделать это?

Вещи пробовали:

.set("spark.default.parallelism", partitions) на моем SparkConf, и когда в контексте чтения паркета я попытался sqlContext.sql("set spark.sql.shuffle.partitions= ..., что на 1.0.0 приводит к ошибке и на самом деле не хочу я хочу, я хочу раздел номер для изменения по всем типам заданий, а не просто перетасовки.

Answer 1

Смотреть это пространство

https://issues.apache.org/jira/browse/SPARK-5997

Этот вид очень простой очевидной функции в конечном итоге будет реализован - я думаю, только после того, как они закончат все ненужные функции в Dataset с.

Answer 2

Я не совсем понимаю, в чем ваша точка. Вы имеете в виду, что у вас сейчас 5 разделов, но после следующей операции вам нужны данные, распределенные до 10? Поскольку наличие 10, но все еще использование 5 не имеет большого смысла ... Процесс отправки данных в новые разделы должен произойти когда-нибудь.

При выполнении coalesce вы можете избавиться от несанкционированных разделов, например: если у вас было первоначально 100, но затем после reduceByKey вы получили 10 (как там, где всего 10 ключей), вы можете установить coalesce.

Если вы хотите, чтобы процесс шел в другую сторону, вы могли бы просто заставить своего рода перегородки:

[RDD].partitionBy(new HashPartitioner(100)) 

я не уверен, что это то, что вы ищете, но надеюсь.