искра на пряжку в два раза, когда ошибка

Question

Я использую модель, которая искру на пряжу, когда я встречаю проблему, искра возобновит автоматическую.

Я хочу выполнить точный раз, какой бы успешной или неудачной.

Можно ли установить conf или api?

Я использую искру версии 1.5.

Answer 1

Вы должны установить свойство spark.yarn.maxAppAttempts на 1. Значение по умолчанию для этого yarn.resourcemanager.am.max-attempts, который по умолчанию 2.

Установите свойство с помощью кода:

SparkConf conf = new SparkConf(); 
conf.set("spark.yarn.maxAppAttempts", "1"); 

Набор когда посылающий задание:

-conf spark.yarn.maxAppAttempts = 1