2012-06-23 3 views
2

Я хочу совместить рекомендуемые с Hadoop рекомендации Mahout с Apache Hive. Так что мои сгенерированные рекомендации напрямую хранятся в моих таблицах с улей. Кто-нибудь знает похожие учебники для этого.?Интеграция Mahout Hive

ответ

7

Рекомендованные Hadoop рекомендации Mahout могут хранить результаты в HDFS напрямую.

Hive также позволяет создавать схему таблицы поверх любых данных с использованием CREATE EXTERNAL TABLE recommend_table, который также определяет местоположение данных (LOCATION '/home/admin/userdata';).

Таким образом, вам гарантируется, что когда новые данные будут записаны в это место - /home/admin/userdata, то он уже доступен для Hive и может быть запрошен существующей схемой: рекомендовать таблицу.

У меня возникло сообщение об этом некоторое время назад: external-tables-in-hive-are-handy. Это решение помогает для любого вида вывода программ, уменьшающих карту, которые должны быть доступны сразу для Hive ad-hoc-запросов.

+0

Как насчет того, если я хочу выполнить анализ с помощью Mahout, прочитав каталог данных из Hive (т. Е. Через HQL)? Все мои таблицы - это внешние таблицы. Благодарю. – Kevin

Смежные вопросы