Количество разделов Spark Dataframe

Question

Может кто-нибудь объяснить количество разделов, которые будут созданы для Spark Dataframe.

Я знаю, что для RDD, создавая его, мы можем указать количество разделов, как показано ниже.

val RDD1 = sc.textFile("path" , 6) 

Но Спарк dataframe, создавая внешний вид, как мы не имеем возможности указать количество разделов, как для РДА.

Только возможность, я думаю, после создания dataframe мы можем использовать API перераспределения.

df.repartition(4) 

Так может кто-нибудь пожалуйста, дайте мне знать, если мы можем указать количество разделов при создании dataframe.

Answer 1

Вы не можете или, по крайней мере, не в общем случае, но это не так уж и отличается от RDD. Например, код textFile, который вы предоставили, устанавливает только ограничение на minimum number of partitions.

В целом:

• Datasets локально с использованием методов, как range или toDF на местной коллекции будут использовать spark.default.parallelism.
• Datasets созданный с RDD унаследовал количество разделов от своего родителя.

• Datsets создана при помощи источника данных API:

  • В искрового 1.x, как правило, зависит от конфигурации Hadoop (мин/макс сплит размера).
  • In Spark 2.x there is a Spark SQL specific configuration in use.
• Некоторые источники данных могут предоставлять дополнительные параметры, которые обеспечивают больший контроль над разделением. Например, источник JDBC позволяет установить столбец разделов, диапазон значений и желаемое количество разделов.