Подсчитайте количество элементов в каждом pyspark разделе RDD

Question

Я ищу эквивалент Pyspark для этого вопроса: How to get the number of elements in partition?.

В частности, я хочу программно подсчитать количество элементов в каждом разделе RysDys или dataframe pyspark (я знаю, что эта информация доступна в пользовательском интерфейсе Spark Web).

Эта попытка приводит к «AttributeError: объект„NoneType“не имеет атрибута" _jvm»:

df.foreachPartition(lambda iter: sum(1 for _ in iter))

Я не хочу, чтобы собрать содержимое итератора в память.

Answer 1

Если вы спрашиваете: можем ли мы получить количество элементов в итераторе без итерации через него? Ответ No.

Но мы не должны хранить его в памяти, как в посте вы упомянули:

def count_in_a_partition(idx, iterator): 
    count = 0 
    for _ in iterator: 
    count += 1 
    return idx, count 

data = sc.parallelize([ 
    1, 2, 3, 4 
], 4) 

data.mapPartitionsWithIndex(count_in_a_partition).collect() 

EDIT

Обратите внимание, что ваш код очень близок к решению, только что mapPartitions необходимо вернуть итератор:

def count_in_a_partition(iterator): 
    yield sum(1 for _ in iterator) 

data.mapPartitions(count_in_a_partition).collect()