Spark: spark-submit не принимает пользовательские log4j.properties

Question

Возможно, это будет дубликат , но это было актуально для Spark1.3/4. Я использую 1.5.2.

Я упаковываю log4j.properties в свою толстую банку. Он демонстрирует различное поведение в двух сценариях. На ubuntu machine 1, у меня есть искра в каталоге пользователя. На аналогичном machine 2, у меня установлена ​​система. На машине 2 значение по умолчанию log4j.properties доступно по адресу: /etc/spark/conf/log4j.properties.

На machine 2 упакованный log4j.properties в жировой баночке не загружается, но он действует на machine 1. Я использую ту же команду на обеих машинах:

spark-submit 
--master local[1] 
--class com.myCompany.myMainClass myFat.jar 

на основе spark documentation, я хоть в состоянии сделать это силой, предоставляя ей извне:

spark-submit 
--master local[1] 
--driver-java-options "-Dlog4j.configuration=file:///mnt1/mohit/log4j.properties" 
--class com.myCompany.myMainClass 
myFat.jar 

Почему поведение отличается? Как я могу сделать spark-submit для использования упакованного файла?

Answer 1

Документация, на которую вы ссылаетесь, предназначена для YARN, но вы работаете в локальном режиме.

Попробуйте указать его следующим образом:

spark-submit 
--master local[1] 
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=/mnt1/mohit/log4j.properties" 
--class com.myCompany.myMainClass 
myFat.jar