2014-12-19 2 views
1

Что я понимаю, так это то, что создание сортированного списка ключей, которое будет отправлено на редуктор, является главной целью картографов. Тогда, если список очень велик, его нужно разделить в mapper, чтобы его можно было обработать с помощью редуктора (я имею в виду, что для уникального ключа список значений огромен, тогда его нужно разделить), но почему именно hasoop нужно сортировать ключи в картографе. Меня кто-то задал этот вопрос, и я не мог полностью его убедить. Я просто новичок, и мне было немного любопытно. Любая помощь приветствуется.Почему данные сортировки Hadoop Mapper?

ответ

0

Сортировка происходит после фазовой перестройки и перед выполнением задания редуктора вам не требуется явно делать это.

См. similar question

Смежные вопросы