Возможно ли перезапустить исполнителя Spark после его срыва? Я понимаю, что неудавшиеся задачи повторно запускаются в существующих работающих исполнителей Spark, но я надеюсь, что есть способ перезапустить аварийного исполнителя Spark.Как перезапустить исполнитель Spark после сбоя (в режиме клиента YARN)?
Я бег pyspark 1.6 на ПРЯЖАХ, в режиме клиента
Нет, это не возможно. Spark заботится об этом, и когда исполнитель умирает, он будет запрашивать новый при следующем запросе «контейнеров ресурсов» для исполнителей.
Если исполнитель был близок к данным для обработки, Spark запросит у нового исполнителя заданные локальные предпочтения задачи (задач), и вероятность того, что хозяин, в котором умер исполнитель, будет снова использоваться для запуска нового ,
Исполнитель - это процесс JVM, который порождает темы для задач и, честно говоря, мало что делает. Если вы заинтересованы в блоках данных, вы должны рассмотреть возможность использования внешней службы Shuffle Spark.
Рассмотрите возможность ознакомления с документом Job Scheduling в официальной документации.
Иногда все мои исполнители Spark разбились и Spark просто повесили. Есть ли способ выйти из повешенного состояния, покидая или создавая исключение? – Michael
Интересно. Никогда не слышал/не видел. Я был бы рад видеть журналы из такой ситуации. –
Хорошо, я создам еще одно обсуждение вопроса об этом, спасибо. – Michael