Конфигурация Hadoop: mapred. * Vs mapreduce. *

Question

Я заметил, что есть два набора параметров конфигурации Hadoop: один с отображенным. *, А другой с mapreduce. . Я предполагаю, что это может быть связано с старым API и новым API, но если я не ошибаюсь, похоже, они сосуществуют в новом API. Я прав? Если да, существует ли обобщенный оператор, который используется для отображения. и что для mapreduce. *?

Answer 1

Изучая источник 0.20.2, существует только несколько свойств mapreduce.*, и они вращаются вокруг настройки формата ввода/вывода задания, классов сопоставления/объединителя/редуктора и разделителя (они также сигнализируют клиенту задания, что новый API используется пользователем - смотрите через источник o.a.h.mapreduce.Job, setUseNewAPI() метод)

• mapreduce.inputformat.class
• mapreduce.outputformat.class
• mapreduce.partitioner.class
• mapreduce.map.class
• mapreduce.combine.class
• mapreduce.reduce.class

Есть еще некоторые свойства, но они вторичны конфигурацию

Входные и выходные форматы, будь то новые или старые версии API, как правило, используют mapred.* свойства

Например, сигнал вашей карты уменьшает входные пути, которые вы используете mapred.input.dir (независимо от того, являетесь ли вы usi новый или старый API). То же самое для вывода имущества mapred.output.dir

Так долго и не хватает, если есть, если это не метод утилита для настройки свойства (FileInputFormat.setInputPaths(Job, String)), то вам необходимо проверить источник

Answer 2

hadoop.mapred устарел.

Версии до 0.20.1mapred. Версии после этого используют mapreduce.

Я не думаю, что они сосуществуют.

Answer 3

Да mapred библиотека устарела. Библиотека mapreduce является новой в hadoop 0.20.1 ..

Однако вы все еще можете использовать некоторые функции, предлагаемые mapred, поэтому вы все равно находите их в каталоге.

Пожалуйста, посмотрите на эту ссылку, чтобы узнать, какие функции вы можете использовать: http://hadoop.apache.org/common/docs/r0.20.0/api/org/apache/hadoop/mapred/package-summary.html