2012-02-24 2 views
1

Я хочу разработать приложение, чтобы узнать, как использовать HBase. Какие технологии я могу использовать для разработки хорошего учебного проекта с использованием HBase? Я хочу использовать, например, Ruby on Rails или Java EE или Spring. Какую архитектуру я мог бы сделать?Проект HBase - Технологии и архитектуры

ответ

1

Как вы знаете, HBase построен на верхней части HDFS (распределенной файловой системы Hadoop), ожидается, что он будет использоваться для хранения очень большого набора данных (TB или PB). Таким образом, использование HBase из обычных приложений (консоли или настольных или веб-приложений) не было бы хорошей идеей, поскольку она могла бы выполнять обработку на параллельном наборе данных, что необходимо, если мы хотим иметь хорошую производительность и масштабируемость такой большой набор данных. Без параллельной обработки может потребоваться много дней, чтобы выполнить одно задание на таких больших данных. Рамка MapReduce от Hadoop обеспечивает решение именно этой проблемы. Вы можете использовать MapReduce для чтения/записи в HBase. Это обеспечило бы высокую производительность приложения (рабочие задания будут уменьшаться до нескольких минут или часов от дней).

Итак, ИМО, лучше начать с использования каркаса MapReduce с HBase. Для этого вы можете использовать Java или RoR. Хотя структура MapReduce разработана на Java, ее можно использовать и на других языках через Streaming API. RoR также имеет лучшую интеграцию с Hadoop.

0

Я думаю, что это не вопрос технологии приложения, работающего с HBase. Основная кривая обучения (помимо администрирования Hadoop и HBase) - это понимание сдвига парадигмы между РСУБД и HBase.
Так как основной вывод, я бы предложил, чтобы взять какой-то exsisting дизайн RDBMS, который у вас есть (или может imegine) и отобразить его в HBASE. Основной тест, который вы должны пройти - чтобы увидеть, что все запросы, которые вы использовали для выполнения на RDMS, возможны с возможностью резонанса. При этом вы поймете концептуальную разницу между HBase и реляционными базами данных.

Смежные вопросы