Я хочу понять MapReduce из Hbase с точки зрения приложения, вам нужны некоторые реальные варианты использования, чтобы лучше понять эффективный вариант использования этих заданий.Когда использовать MapReduce в Hbase?
Если есть какая-либо ссылка на документ или примеры, объясняющие реальные варианты использования, пожалуйста, поделитесь.
Пожалуйста, ознакомьтесь с приведенными ниже стандартами: 1. here. 2. И небольшая справка here - 30.Joins 3. Может быть встык примеру here
В конце концов, все это зависит от вашего понимания каждой концепции карты уменьшить, Hbase и использовать его в соответствии с вашим в вашем проекте. Та же задача может быть выполнена с уменьшением карты или без нее. Счастливое кодирование
Я могу привести пример, основанный на моих вариантах использования. Если вы уже храните свои данные в hbase, вы можете написать java-программу, которая сканирует таблицу и что-то делать, а затем записывает вывод в hbase или где-то еще. ИЛИ вы можете использовать mapreduce, чтобы сделать то же самое. Разница заключается в том, что mapreduce будет работать там, где находятся данные, а сетевой трафик используется только для данных результата. У нас есть часовые задания для расчета суммы и среднего значения kpis, а входные данные огромны, но выходные данные для этой задачи крошечны. Если я не использовал mapreduce, мне нужно переместить один час данных по сети, который составляет 18 гб. Но вывод mapreduce - всего 1 мб, и я могу записать его в hbase или файл или где-то еще.
Также MapReduce дает возможность параллельного выполнения задачи, которые вы можете иметь в Java, но почему :)
Имейте в виде, что ПРЯЖА создает задачу карты в соответствии с разделенным подсчетом вашего Hbase таблицы. Поэтому, если вам нужно больше задач карты, разделите таблицу.
Если вы уже храните свои данные в hdo-файлах hadoop, вам повезло, чтение в mapreduce из hdfs намного быстрее, чем чтение из hbase. Также вы можете написать вывод mapreduce в hbase, если хотите.