Будучи новым разработчиком приложения Hadoop, я изо всех сил пытаюсь понять множество вариантов конфигурации для Map/Reduce или Oozie или Sqoop. Ни одна из рекомендованных книг или сайтов не рассматривает это полностью. Любой новый инструмент в экосистеме Hadoop вы увидите больше. Я хотел спросить, что является лучшим способом/ресурсом, чтобы получить представление о настройках конфигурации заданий.Параметры конфигурации Apache Hadoop
Здесь у вас есть все конфигурации Hadoop:
https://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/core-default.xml
Кроме того, если вы хотите, чтобы видеть то, что текущая конфигурация и куда она приходит от запуска этого:
$ hadoop org.apache.hadoop.conf.Configuration
Я прочитал hadoop: окончательное руководство Это было очень полезно для меня.
Кроме того, при чтении любого configuration property in hadoop, вы должны связать это с соответствующим элементом хаопа.
Как и любое свойство, которое начинается с mapred.map, используется так же, как и для свойства объекта mapper. mapred.reduce предназначен для редуктора.
Этот способ позволяет легко понять и запомнить свойства.
Если какой-либо ответ решили вашу проблему, нажмите большой флажок, чтобы принять его как ответ. –