Что я понимаю, так это то, что создание сортированного списка ключей, которое будет отправлено на редуктор, является главной целью картографов. Тогда, если список очень велик, его нужно разделить в mapper, чтобы его можно было обработать с помощью редуктора (я имею в виду, что для уникального ключа список значений огромен, тогда его нужно разделить), но почему именно hasoop нужно сортировать ключи в картографе. Меня кто-то задал этот вопрос, и я не мог полностью его убедить. Я просто новичок, и мне было немного любопытно. Любая помощь приветствуется.Почему данные сортировки Hadoop Mapper?
1
A
ответ
0
Сортировка происходит после фазовой перестройки и перед выполнением задания редуктора вам не требуется явно делать это.
См. similar question
Смежные вопросы
- 1. hadoop mapper static initialisation
- 2. Hadoop Mapper Контекстный объект
- 3. Настройка Hadoop Mapper
- 4. hadoop setup method mapper
- 5. Spring конфигурации Hadoop Mapper
- 6. Hadoop mapper class не найден
- 7. Hadoop потоковый редуктор в mapper
- 8. Hadoop MapReduce: MapTasks против Mapper
- 9. Hadoop - редуктор для Mapper порта
- 10. Сэмплирование записей от Hadoop Mapper
- 11. Hadoop Mapper: класс или интерфейс
- 12. Mapper and Reducer in Hadoop
- 13. Hadoop - Явная группировка Mapper результате
- 14. Mapper вход пару ключ-значение в Hadoop
- 15. Hadoop Mapper не работает в моем классе
- 16. Hadoop MapReduce Уровни сортировки
- 17. Hadoop - Редуктор ожидает ввода входов Mapper?
- 18. hadoop mapper over memory of memory (heap)
- 19. Конфигурация Hadoop - это mapper/combiner, подверженные воздействию io.sort.factor и io.sort.mb?
- 20. Ключ обмена и значение mapper hadoop
- 21. Как сохранить промежуточные файлы Mapper в Hadoop
- 22. Hadoop Mapper для чтения пар ключ-значение
- 23. Отладка в Hadoop - MapReduce. Mapper не вызывается?
- 24. Объяснение программы mapper для поиска в hadoop
- 25. Метод настройки не вызван в Hadoop Mapper
- 26. Hadoop сокращение данных от mapper to combiner
- 27. множественный ввод в Mapper в hadoop
- 28. Hadoop Streaming с Java Mapper/Reducer
- 29. Hadoop Mapper Reducer Принимая так много времени
- 30. Hadoop, передающий переменные в mapper и редуктор