PySpark Разбиение с перекрытием

Question

Я пытаюсь разбить свои данные для отправки на несколько компьютеров для одновременного запуска PySpark, но затем некоторые из данных, которые я хочу отправить на один компьютер, я также хочу отправить другим пользователям машина. Как я разделяю данные с перекрытиями?

Answer 1

rdd.randomSplit ([1] * N) возвращает список N равных размеров rdd, я думаю, вы можете реплицировать элементы своего списка перед отправкой их