Как распределить данные равномерно среди исполнителей

Question

Я прочитал dataframe из паркетных файлов, используя read.parquet() из dfs и закрепил его. Но как я равномерно распределяю среди исполнителей.

Я использую Cloudera кластера, добавив только, если это полезно.

Answer 1

Соберите данные из Parquet RDD и используйте широковещательную переменную, чтобы сделать ее доступной для исполнителей.

RDD.collect() 

Broadcast Variables