хотите установитьискровым представить, как установить user.name
mapreduce.job.user.name=myuser
Пробовал
spark-submit --class com.MyClass
--conf mapreduce.job.user.name=myuser \
--conf spark.mapreduce.job.user.name=myuser \
--master yarn \
--deploy-mode cluster \
также попытался
--conf user.name
в среде искрового UI показывая
user.name yarn
Установить в качестве Runtime-Environment Variable
попробовать:
--conf spark.executorEnv.mapreduce.job.user.name=myuser
spark.executorEnv.[EnvironmentVariableName]- Добавить переменную среды указанной EnvironmentVariableName к процессу палача. Пользователь может указать несколько из них для установки нескольких переменных окружения .
Huh - 'mapreduce.job.user.name' является свойством Hadoop, а не переменной среды Linux. Кроме того, пользователь задания YARN устанавливается драйвером Spark при подключении к диспетчеру ресурсов YARN для распределения задания и его контейнеров; когда исполнители начинают работать в контейнерах, задание уже определено ... –
sudo -su username spark-submit --class com.MyClass
Это работает для меня.
Пробовал ли вы старый трюк 'export HADOOP_USER_NAME = wtf'? –