2014-02-12 1 views
0

Я использую API-интерфейс HBase Client для подключения к удаленному кластеру и выполнения некоторых операций. Этот проект, безусловно, потребует банок hbase и hasoop-core. И мой вопрос заключается в том, следует ли мне использовать команду «java» и обрабатывать все зависимости (используя maven shaded plugin, или установить среду classpath), или есть волшебная команда утилиты для обработки всех этих данных для меня?Каков общий способ выполнения задания HBase?

Возьмите работу по созданию карты для экземпляра. Как правило, основной класс будет расширять настройки и реализовывать Инструмент. Задание будет выполняться командой «hadoop jar», и вся окружающая среда и зависимость от ядровой атаки находятся под рукой. Этот подход также обрабатывает общий синтаксический анализ командной строки для меня, и я могу легко получить экземпляр конфигурации с помощью this.getConf();

Мне интересно, поддерживает ли HBase ту же команду utiliy?

ответ

1

Вы можете использовать HBase в двух режимах - один как источник/цель на карте/сокращении задания - в этом случае вы вызываете его так же, как и любую другую работу по карте/сокращению. Второй способ похож на обычную базу данных, и в этом случае вы используете API-интерфейс HBase и вызываете его, как и любую другую обычную программу Java

+0

Точно. Почему HBase обеспечивает дублирование функциональности? Используйте инструмент построения, чтобы сделать затененную банку, которая содержит все ваши зависимости, и используйте команду hadoop для ваших заданий M/R. – David

+1

Это не дублирующая функциональность, это разные шаблоны доступа - один случайный чтение/запись, а другой - пакетная обработка. HBase поддерживает –

Смежные вопросы