Как переопределить свойства log4j по умолчанию в hadoop

Question

В настоящее время мы используем hadoop.root.logger="INFO,console" для заданий mapreduce и spark. Я хочу, чтобы переопределить с "WARN,console", я попытался установить глобальную переменную

export HADOOP_ROOT_LOGGER="WARN,console" 

в hadoop-env.sh но не работает. я могу видеть информацию, предупреждение, ошибку в журнале пряжи. как я могу переопределить эти настройки.

Answer 1

Файл yarn-env.sh имеет эти строки, которые перекрывают уровни журнала для процессов YARN.

YARN_OPTS="$YARN_OPTS -Dhadoop.root.logger=${YARN_ROOT_LOGGER:-INFO,console}" 
YARN_OPTS="$YARN_OPTS -Dyarn.root.logger=${YARN_ROOT_LOGGER:-INFO,console}" 

Если YARN_ROOT_LOGGER не установлен, уровень лог нити устанавливается в INFO.

Добавить в hadoop-env.sh переменную YARN_ROOT_LOGGER,

export YARN_ROOT_LOGGER="WARN,console"