ROW_NUMBER() OVER в импала

Question

У меня есть случай использования, когда мне нужно использовать ROW_NUMBER() над РАЗДЕЛА: Что-то вроде:

SELECT 
    Column1 , Column 2 
    ROW_NUMBER() OVER (
    PARTITION BY ACCOUNT_NUM 
    ORDER BY FREQ, MAN, MODEL) as LEVEL 
FROM 
    TEST_TABLE 

мне нужен обходной путь для этого в Impala. К сожалению, Impala не поддерживает подзапросы, а также не поддерживает функциональные возможности ROW_NUMBER() OVER. Благодарим вас за помощь.

Answer 1

Impala для данного типа запросов весьма ограничен. С некоторыми допущениями, этот запрос можно:

• Четыре колонки в предложении разбиения никогда не NULL
• Четыре колонки в предложении разделения уникальной идентификации строки

Запрос довольно некрасиво и дорого:

select tt.column1, tt.column2, count(*) as level 
from test_table tt join 
    test_table tt2 
    on tt.account_num = tt2.account_num and 
     (tt2.freq < tt.freq or 
     tt2.freq = tt.freq and tt2.man < t.man or 
     tt2.freq = tt.freq and tt2.man = t.man and tt2.model <= t.model 
     ) 
group by tt.column1, tt.column2, tt.account_num, tt.freq, tt.man, tt.model; 

Answer 2

ROW_NUMBER() НАД РАЗДЕЛА был добавлен в CDH 5.2:

https://www.cloudera.com/documentation/enterprise/latest/topics/impala_analytic_functions.html#row_number

ROW_NUMBER() OVER([partition_by_clause] order_by_clause) 

Answer 3

Impala поддерживает теперь положение над. Синтаксис такой же, как в вопросе.

SELECT 
    Column1 , Column 2 
    ROW_NUMBER() OVER (
    PARTITION BY ACCOUNT_NUM 
    ORDER BY FREQ, MAN, MODEL) as LEVEL 
FROM 
    TEST_TABLE 

Impala документация: https://www.cloudera.com/documentation/enterprise/5-6-x/topics/impala_analytic_functions.html#over