Spark --num-исполнители и количество разделов

Question

Выполняется ли количество исполнителей как фактор количества разделов. Поскольку я получаю потерю данных при наличии двух исполнителей и 25 разделов.

Answer 1

Совсем нет! Количество разделов полностью не зависит от количества исполнителей (хотя для производительности вы должны хотя бы установить количество разделов как количество ядер на каждый исполнитель за раз число исполнителей, чтобы вы могли использовать полный параллелизм!).

Возможно, вы сможете оставить свой код, чтобы мы могли определить причину потери данных ...