Создание задач искры из задач (функции карты) в одном приложении

Question

Возможно ли сделать карту из функции сопоставления (например, из задач) в pyspark? Другими словами, можно ли открыть «подпрограммы» из задачи? Если так - как я могу передать sparkContext в задачи - как переменную?

Я хотел бы иметь работу, состоящую из множества задач - каждая из этих задач должна также создавать множество задач, не возвращаясь к драйверу.

Мой пример использования: Я делаю перенос кода приложения, которое было написано с использованием рабочих очередей - в pyspark. В моих старых задачах приложения были созданы другие задачи - и мы использовали эту функциональность. Я не хочу перепроектировать весь код из-за перехода на искру (особенно потому, что мне нужно будет убедиться, что обе платформы работают в переходной фазе между системами) ...

Answer 1

Возможно ли, открыть «подпрограммы» из задачи?

Нет, по крайней мере, не в здоровом образе ^*.

задача является команда, посланная от водителя и Спарк, как один драйвер (центральный координатор), который взаимодействует со многими распределенными рабочими (исполнителями).

В результате, что вы просите здесь, подразумевается, что каждая задача может играть роль суб-драйвера. Даже рабочий, у которого была бы такая же вера в мой ответ, как задача.

Замечательные ресурсы:

1. What is a task in Spark? How does the Spark worker execute the jar file?
2. What are workers, executors, cores in Spark Standalone cluster?

---

* _{С учетом сказанного, я имею в виду, что я не знаю ни одного хака или что-то, что если существует бы быть слишком конкретным.}