Предопределяющее количество разделов RDD

Question

1) Как определить количество разделов RDD, которое будет ?
2) от каких факторов зависит разбиение данных? Является ли это только размер данных и способа его хранения (сжато, последовательность и т.д ..)

Для простоты предположим, что у меня есть файл 6GB в HDFS хранящимися в виде обычного текстового файла.

Мой кластер представляет собой EC2 кластер с ниже конфигурации,

1 главный узел - m3.xlarge (4 ядра, 15GB ОЗУ)

4 основные узлы - m3.xlarge (4 ядра, 15GB Ram каждый)

UPDATE: Что произойдет, если же хранится в s3, HBase или любой NoSQL?

Answer 1

Разделы зависят от типа файла. В вашем случае, поскольку это файл HDFS, тогда по умолчанию количество разделов - это количество входных расщеплений, и это будет зависеть от вашей настройки hadoop. Но если все, что вам нужно, это способ понять, как это работает.

С HadoopRDD.getPartitions:

val inputSplits = inputFormat.getSplits(jobConf, minPartitions) 
val array = new Array[Partition](inputSplits.size)