Минус-запрос в HIVE

Question

Минус-запрос, похоже, не работает в HIVE.

Пробовал например:

select x from abc 
minus 
select x from bcd ; 

я это делаю неправильно или минус запрос не определен для энцефалопатии? Если да, есть ли другой способ получить результат для этого?

Answer 1

Не установлено, что HQL поддерживает оператор MINUS. Смотрите это отношение, хотя и староват, ресурс:

http://www.quora.com/Apache-Hive/What-are-the-biggest-feature-gaps-between-HiveQL-and-SQL

То, что вы хотите сделать, может быть сделано с LEFT JOIN или NOT EXISTS:

SELECT x 
FROM abc 
LEFT JOIN bcd 
ON abc.x = bcd.x 
WHERE bcd.x IS NULL 

EDIT: Per комментариев ниже, NOT EXISTS не поддерживается.

Answer 2

В настоящее время Hive не поддерживает функциональность MINUS. См. http://www.quora.com/Apache-Hive/What-are-the-biggest-feature-gaps-between-HiveQL-and-SQL

Answer 3

HQL НЕ поддерживает минус, но вы всегда можете использовать решение Patrick Tucci, которое отлично работает, когда ваш список избранных содержит только несколько полей. В моем случае я хотел найти различия между всей таблицей (30+ полей) и резервной копией, чтобы найти записи, которые были разными. Вот мое решение:

select <all-my-fields>, count(*) 
    from (
     select <all-my-fields> from mytable 
     union all 
     select <all-the-fields> from mybackuptable 
     ) merged_data 
group by <all-my-fields> 
having count(*) = 1 

Теперь это не укомплектовать «минус», так как отдельные записи из mybackuptable будет отображаться в результате которой является то, что я хотел. Чтобы сделать это полным «минус» эквивалент Я добавил это:

select <all-my-fields> 
    from (
     select max(source) source, <all-my-fields>, count(*) 
      from (
       select 1 source, <all-my-fields> from mytable 
       union all 
       select 2, source, <all-the-fields> from mybackuptable 
       ) merged_data 
     group by <all-my-fields> 
     having count(*) = 1 
     ) minus_data 
where source = 1