2015-03-07 6 views
0

Я написал код mapreduce, используя вместо него mapredduce, с помощью mapredduce (я следовал за example WordCount для hadoop 1) Мне нужно получить некоторые параметры, которые я сохранил в конфигурации задания. Я читал около configuration get при использовании mapreduce, но я сделал все свое развитие, используя mapred, и эти два импорта противоречат друг другу. Есть ли способ получить конфигурацию задания в mapper, используя mapred?Получение конфигурации заданий в hadoop

ответ

1

От Mapper Javadoc:

реализации Mapper могут получить доступ к JobConf для работы через JobConfigurable.configure (JobConf) и инициализировать себя.

И как JobConf распространяется Configuration, вы можете получить доступ ко всем свойствам.

Чтобы сделать это доступным для ваших map() звонков вы можете создать JobConf переменные в классе и установить его в вашем configure(), так что, когда ваши map() вызовов запуска вы можете получить доступ к нему оттуда.

+0

Но поскольку у меня нет контекста в аргументах карты, существует ли способ узнать, какой JobConf применяется, как в http://stackoverflow.com/questions/8244474/passing-arguments-to-hadoop-mappers? – giulio

Смежные вопросы