Соберите данные с помощью Foreach

Question

Я пытаюсь настроить RDD и собрать данные в построитель строк. Но это происходит не так, как foreach работает на узлах-исполнителях, а строковый конструктор работает на узле драйвера. является ли какой-либо способ достичь моей цели? Я не хочу использовать collect действие, как оно дорого.

private static StringBuilder collect(JavaRDD<String> javaRDD) { 
     StringBuilder builder = new StringBuilder(); 
     javaRDD.foreach(x -> builder.append(x)); 
     System.out.println(builder.toString() + " ****"); 
     return builder; 
    } 

Любая помощь очень ценится.

Answer 1

Вы можете использовать foreachPartition. Это будет собирать данные только у исполнителя, а не у водителя.

javaRDD.foreachPartition(partition -> { 
    StringBuilder builder = new StringBuilder(); 
    while (partition.hasNext()) { 
    builder.append(partition.next()); 
    } 
    System.out.println(builder.toString() + " ****"); 
}); 

Answer 2

Вы можете использовать rdd.aggregate для того, чтобы объединить все строки в вашем РДУ в один StringBuffer так:

val rdd = sc.parallelize(List("h" , "a" , "b")) 
val res = rdd.aggregate(new StringBuffer)((sb:StringBuffer , str : String) => sb.append(str) , (sb1 : StringBuffer , sb2 : StringBuffer) => sb1.append(sb2)) 
println(res) // "abh" 

Очевидно, что все содержимое строки вашего РДУ будет слита в строке буфера который имеет потенциал быть огромным, но это то, что вы хотели ... Это лучше, чем собирать, потому что строковые данные не отправляются «сырым» в драйвер (только в конкатенированной форме).

Также обратите внимание на порядок строк не гарантируется ...

Answer 3

Я думаю, что может быть альтернативным способом: Накопитель. Вот перенаправление о том, как использовать строку Накопитель:
Not able to declare String type accumulator
Заслуга автора этого ответ