Как изменить количество разделов с помощью coalesce?

Question

Я использую искру с базой данных java и Cassandra, и в своей программе я использовал mapPartitions для запроса cassadra. Но я заметил, что мой mapPartitions выполнен только в одном искровом узле. Чтобы увидеть количество разделов в моем RDD, я использовал:

System.out.println(MyRDD.partitions().size()); 

И он отображает 1 раздел. Я обнаружил, что я могу изменить количество разделов usig это:

JavaRDD MyRDD2= MyRDD.coalesce(8, false); 

Но это не работает, и мой номер раздела по-прежнему 1.

Можете ли вы помочь мне, пожалуйста, изменить количество перегородки?

Answer 1

Вы должны установить перетасовать истину для того, чтобы объединиться, чтобы большее количество разделов:

JavaRDD MyRDD2= MyRDD.coalesce(8, true);