Как удалить разделы из таблицы улей динамически?

Question

Я новичок в улье. Может кто-то, пожалуйста, помогите мне с этим требованием?

Мое требование - динамически удалять разделы. У меня был SQL, который приводит к разным регионам (SQL ниже: после ALTER TABLE FROM). Теперь я хочу удалить регионы (разделенные в моей таблице hive), которые возвращаются моим SQL.

Я попытался ниже в пути:

ALTER TABLE <TableName> PARTITION(region=tab.region) 
FROM 
select tab.region from 
(SELECT * from Table1) tab join 
(select filename from Table2) tab1 
on tab1.filename = tab.filename 

Это бросание ниже исключение:

'1:21:13 [ALTER - 0 row(s), 0.008 secs] [Error Code: 40000, SQL State: 42000] Error while compiling statement: FAILED: ParseException 
line 1:77 cannot recognize input near 'tab' '.' 'region' in constant 
... 1 statement(s) executed, 0 row(s) affected, exec/fetch time: 0.008/0.000 sec [0 successful, 0 warnings, 1 errors] 

Может кто-нибудь помочь мне, пожалуйста?

Заранее спасибо

Answer 1

Shell-скрипт:

$ cat test 
#!/bin/sh 

IFS=$'\n' 

#get partitions 
part=`hive -e "select tab.region from (SELECT * from Table1) tab join (select filename from Table2) tab1 on tab1.filename = tab.filename"` 

for p in $part 
do 

    partition=`echo $p|cut -d '=' -f2` 

    echo Drooping partitions .... $partition 

    #drop partitions 
    hive -e "ALTER TABLE test_2 DROP PARTITION(region=\"$partition\")" 

done 

выход:

$ ./test 
OK 
Time taken: 1.343 seconds, Fetched: 2 row(s) 
Drooping partitions .... 2016-07-26 15%3A00%3A00 
Dropped the partition region=2016-07-26 15%3A00%3A00 
OK 
Time taken: 2.686 seconds 
Drooping partitions .... 2016-07-27 
Dropped the partition region=2016-07-27 
OK 
Time taken: 1.612 seconds 

обновление: ~~> Запуск ш флигель сценарий из HQL (Это только POC, внести изменения в соответствии с вашим REQ.) с помощью ! <command> - Executes a shell command from the Hive shell.

test_1.sh:

#!/bin/sh 
echo " This massage is from $0 file" 

улей test.hql:

! echo showing databases... ; 
show databases; 

! echo showing tables...; 
show tables; 

! echo runing shell script...; 
! /home/cloudera/test_1.sh 

выход:

$ hive -v -f hive-test.hql 
showing databases... 

    show databases 
OK 
default 
retail_edw 
sqoop_import 
Time taken: 0.997 seconds, Fetched: 3 row(s) 
showing tables... 

    show tables 
OK 
scala_departments 
scaladepartments 
stack 
stackover_hive 
Time taken: 0.062 seconds, Fetched: 4 row(s) 
runing shell script... 
This massage is from /home/cloudera/test_1.sh file