Есть ли способ проверить, является ли переменная в Spark параллелизуемой?

Question

Так что я использую функцию groupByKey в искры, но ее не распараллеливают, так как я вижу, что во время ее выполнения используется только 1 ядро. Кажется, что данные, с которыми я работаю, не позволяют распараллеливать. Есть ли способ искры знать, являются ли входные данные дружественными к параллелизации или если это не правильный RDD?

Answer 1

Блок распараллеливания в Spark является «разделом». То есть, RDD разделяются на разделы, и преобразования применяются к каждому разделу параллельно. Как данные RDD распределяются по разделам, определяется Partitioner. По умолчанию используется HashPartitioner, который должен работать нормально для большинства целей.

Вы можете проверить, сколько разделов ваш РДД разделяется на использовании:

rdd.partitions // Array of partitions