Как установить параметры конфигурации Hadoop от pyspark

Question

версия Scala из SparkContext обладает свойством

sc.hadoopConfiguration 

Я успешно использовал это, чтобы установить свойства Hadoop (в Скале ..)

например

sc.hadoopConfiguration.set("my.mapreduce.setting","someVal") 

Однако версия Python SparkContext не имеет этого доступа. Есть ли способ установить значения конфигурации hadoop в конфигурацию Hadoop, используемую контекстом pyspark?

Answer 1

sc._jsc.hadoopConfiguration().set('my.mapreduce.setting', 'someVal') 

должен работать

Answer 2

Я посмотрел в исходный код pyspark (context.py) и не существует прямого эквивалента. Вместо этого некоторые специфические методы поддерживают отправку в карте пар (ключ, значение):

fileLines = sc.newAPIHadoopFile('dev/*', 
'org.apache.hadoop.mapreduce.lib.input.TextInputFormat', 
'org.apache.hadoop.io.LongWritable', 
'org.apache.hadoop.io.Text', 
conf={'mapreduce.input.fileinputformat.input.dir.recursive':'true'} 
).count() 

Answer 3

Вы можете задать любые Hadoop свойства, используя --conf параметр при подаче задания.

--conf "spark.hadoop.fs.mapr.trace=debug"

Источник: https://github.com/apache/spark/blob/branch-1.6/core/src/main/scala/org/apache/spark/deploy/SparkHadoopUtil.scala#L105