Как найти последний раздел в таблице HIVE

Question

У меня есть секционированный стол - с 201 разделом. Мне нужно найти последний раздел в этой таблице и использовать его для публикации моих данных. Запрос для поиска списка всех разделов:

use db; 
show partitions table_name; 

Мне нужен запрос, чтобы найти последний из этих разделов. Перегородки находятся в формате

ingest_date=2016-03-09 

Я пробовал использовать max(), что дало мне неправильный результат. Я не хочу, чтобы пройти через всю таблицу, делая

select max(ingest_date) from db.table_name; 

Это дало бы мне ожидаемый выход .. но убить весь смысл наличия перегородок в 1-ом месте.

Есть ли более эффективный запрос для получения последнего раздела для таблицы HIve?

Answer 1

Вы можете использовать "показать разделы":

hive -e "set hive.cli.print.header=false;show partitions table_name;" | tail -1 | cut -d'=' -f2 

Это даст вам "2016-03-09" в качестве выходного сигнала.