SPARK RDD Partition на одном HDFS Split

Question

Если у нас есть файл 128 МБ с разделом HDFS 128 МБ, и мы выдаем sc.textFile (xxx, 4), что на самом деле происходит? Что же означает RDD в данном случае в терминах разделения? 4 обработки разделов по-прежнему или всего 1?

Answer 1

При использовании такого кода:

JavaRDD<String> in = sc.textFile(xxx,4); 
in.persist(); 

Тогда ваш РДД имеет 4 разделов. Они должны иметь размер 32 МБ каждый. Затем вы можете сделать что-то любит это:

rdd.count() 

При запуске, то ваш код локально с местными [4], то счетчик будет выполняться с 4-процессов (задач) параллельно.