0
все. Я использовал Spark с YARN для распределенных вычислений, проводные проблемы - каждый раз, когда мои рабочие работают некорректно, иногда работают только 1 или 2 узла, другие состояния узлов запускаются, но, похоже, не работают. Мне нужно, чтобы все мои узлы работали вместе.Hadoop cluster - Ноды начаты, но не работают
Мне просто интересно, возможно ли это потому, что моя задача вычисления слишком мала? Потому что моя цель состоит в том, чтобы пересчитать 3-4 ГБ jsons из HDFS.
Моя задача представить команда
./spark-submit --master yarn-client --supervise word.py
Здесь мы можем видеть только ведомый 3 и мастер-узлы работают. Это мой первый раз отправить 
Это моя вторая подача, кажется, только раб 1 работает. Кто-нибудь знает, в чем проблема? 