Hadoop Hive медленные запросы

Question

Я новичок в Hadoop Hive, и я разрабатываю решение для отчетности. Проблема в том, что производительность запроса очень медленная (улей 0.10, hbase 0.94, hadoop 1.1.1). Один из вопросов:

select a.*, b.country, b.city from p_country_town_hotel b 
    inner join p_hotel_rev_agg_period a on 
    (a.key.hotel = b.hotel) where b.hotel = 'AdriaPraha' and a.min_date < '20130701' 
    order by a.min_date desc 
    limit 10; 

, который занимает довольно много времени (50-е годы). Я знаю, что знаю, соединение находится в поле строки, а не на целочисленном, но наборы данных не большие (около 3300 и 100000 записей). Я пробовал намеки на этот SQL, но это не получилось быстрее. Тот же запрос на MS SQL Server длится 1 с. Также простой счетчик (*) из таблицы длится 7-8 секунд, который шокирует (таблица имеет 3300 записей). Я действительно не знаю, в чем проблема? Любые идеи или я неправильно истолковал Hadoop?

Answer 1

Да .. Вы неверно истолковали Hadoop. Hadoop и Hive также не предназначены для реального времени. Они наиболее подходят для автономной работы с пакетной обработкой. Они вовсе не являются заменой РСУБД. Хотя вы можете сделать тонкую настройку, но «абсолютное реальное время» невозможно. Там много вещей, которые происходят под капотом, когда вы запускаете запрос на улей, который, я думаю, вы не знаете. Прежде всего, запрос Hive преобразуется в соответствующее задание MR, за которым следуют несколько других вещей, таких как сплит-создание, создание записей, создание карт и т. Д. Я бы никогда не предложил Hadoop (или Hive), если у вас есть потребности в реальном времени.

Возможно, вы захотите взглянуть на Impala для ваших потребностей в реальном времени.

Answer 2

Я не уверен, как новые Вы должны hadoop.Hive не дают результатов при интерактивных скоростях, как небольшая таблица are.In случае вы знали, что это уже и пытаюсь настроить запрос, вы можете попробовать ниже:

select a.*, b.country, b.city from 
(select * from p_country_town_hotel where hotel= 'AdriaPraha') b 
inner join 
(select * from p_hotel_rev_agg_period where min_date < '20130701') a 
on 
a.key.hotel = b.hotel 
order by a.min_date desc 
limit 10; 

Если вы знаете, что одна из таблиц достаточно мала, чтобы вписаться в память, вы можете попробовать присоединиться к стороне карты.

Answer 3

Улей не является подходящим инструментом для работы в режиме реального времени, но если вы хотите использовать инфраструктуру Hadoop в режиме реального времени или в режиме быстрого доступа к данным, взгляните на . Это добавленная стоимость - это быстрый доступ. Не уверен, почему вы выбираете Hadoop для своего решения, но Hbase сидит на вершине HDFS, что некоторым людям нравится из-за присущей избыточности HDFS (вы копируете файл там один раз и автоматически реплицируете), который может быть одним из причины, по которым вы смотрите на Hadoop.

Для получения дополнительной информации: read this question

Answer 4

использование http://phoenix.apache.org/ в режиме реального времени запросов, как этот