, мы установили искробезопасный сервер, который запускается на искровом кластере с использованием server_start.sh, однако независимо от того, как мы это делаем, мы не можем запускать его для нескольких сотрудников. Мы можем заставить его работать с несколькими ядрами и больше памяти, но не над несколькими узлами.Исправляемый сервер заданий, не начинающийся с нескольких узлов в кластере
Команды мы пытались заключаются в следующем:
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 6
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --total-executor cores 4 --executor-cores 2
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=4 --conf spark.driver.memory=7g
./server_start.sh --master spark://IP:PORT --deploy-mode cluster --conf spark.driver.cores=6 --conf spark.driver.memory=7g
Первые две команды запущен и показал один работник с использованием одного ядра и 1 Гб, в то время как третья показывает один рабочий, с помощью 4 ядра и 7g. Четвертая команда показывает 6 ядер, которые будут использоваться, но состояние SUBMITTED.
Мы проверили, что он работает над запуском и применением нескольких рабочих, запустив искровую оболочку со следующей командой, которая отображается как работающий драйвер с 2 рабочими и в общей сложности 6 ядер.
./spark-shell --master spark://IP:PORT --total-executor cores 6
Поблагодарили бы за любую помощь.