Я написал код mapreduce, используя вместо него mapredduce, с помощью mapredduce (я следовал за example WordCount для hadoop 1) Мне нужно получить некоторые параметры, которые я сохранил в конфигурации задания. Я читал около configuration get при использовании mapreduce, но я сделал все свое развитие, используя mapred, и эти два импорта противоречат друг другу. Есть ли способ получить конфигурацию задания в mapper, используя mapred?Получение конфигурации заданий в hadoop
0
A
ответ
1
От Mapper
Javadoc:
реализации Mapper могут получить доступ к JobConf для работы через JobConfigurable.configure (JobConf) и инициализировать себя.
И как JobConf
распространяется Configuration
, вы можете получить доступ ко всем свойствам.
Чтобы сделать это доступным для ваших map()
звонков вы можете создать JobConf
переменные в классе и установить его в вашем configure()
, так что, когда ваши map()
вызовов запуска вы можете получить доступ к нему оттуда.
Смежные вопросы
- 1. Параметры конфигурации Apache Hadoop
- 2. Hadoop Streaming заданий в/с
- 3. Использование счетчиков Hadoop - Несколько заданий
- 4. Ключевое сродство заданий карты в Hadoop
- 5. Hadoop уменьшить до выполнения заданий карты
- 6. Получение исключения ClassNotFound: при сбрасывании конфигурации в Hadoop
- 7. Вывод общей конфигурации заданий jenkins
- 8. Как отправить несколько заданий в кластер hadoop
- 9. Hadoop, цепочки нескольких заданий в одном задании
- 10. Настройка памяти заданий в Hadoop 1.2.0
- 11. Выполнение нескольких заданий MapReduce в hadoop
- 12. Ждите завершения нескольких заданий в Hadoop
- 13. Запуск зависимых заданий hadoop в одном драйвере
- 14. Цепочка нескольких заданий MapReduce в Hadoop
- 15. Распространение пользовательских значений конфигурации в Hadoop
- 16. Ошибка конфигурации Hadoop
- 17. Свойства конфигурации Hadoop
- 18. Глобальное хранилище конфигурации Hadoop
- 19. Spring конфигурации Hadoop Mapper
- 20. Значения конфигурации Hadoop cloudera
- 21. Ошибка конфигурации Hadoop
- 22. Использование конфигурации приложения по конфигурации Hadoop
- 23. Hadoop grep search output - счетчики заданий
- 24. конфигурации Apache Tez с Hadoop
- 25. Управление ресурсами конфигурации кластера Hadoop
- 26. XSLT для дополнения конфигурации Hadoop
- 27. Эффективное получение всех завершенных заданий
- 28. Получение заданий под конкретную историю
- 29. Получение заданий и/или процессов
- 30. Получение заданий из многих очередей
Но поскольку у меня нет контекста в аргументах карты, существует ли способ узнать, какой JobConf применяется, как в http://stackoverflow.com/questions/8244474/passing-arguments-to-hadoop-mappers? – giulio