Конфигурация EMR json

Question

В соответствии с http://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html# новая версия EMR 4.0.0 позволяет конфигурировать json-файл для настройки компонентов. Кроме того, глядя на http://docs.aws.amazon.com//ElasticMapReduce/latest/ReleaseGuide/emr-configure-apps.html, у меня есть JSON структурированы:

[ 
{ 
    "Classification": "mapred-site", 
    "Properties": { 
     "mapreduce.map.memory.mb": "4096", 
     "mapreduce.map.java.opts": "-Xmx4096M" 
    } 
}, 
{ 
    "Classification": "hadoop-env", 
    "Properties": {}, 
    "Configurations": [ 
     { 
     "Classification": "export", 
     "Properties": { 
      "HADOOP_CLIENT_OPTS": "-Xmx4096M" 
     } 
     } 
    ] 
} 
] 

окр свойство Hadoop работает, но свойства mapred-сайт не отражается при создании кластера ОГО. Я всегда могу установить эти свойства из Hive, но любые идеи, как заставить его работать с конфигурационным файлом?

Answer 1

Я испытал подобную проблему, но с классификацией «hadoop-env».

От этой записи: https://github.com/aws/aws-cli/issues/1502 Я обнаружил, что решение ключевых слов (классификация, свойства, ...) решило проблему.

Примечание: Я использую консоль AWS, а не CLI.