Данные о загрузке кустов из нескольких каталогов и динамическое создание разделов

Question

Я храню данные в Hadoop в соответствии с датой их создания, поэтому у меня есть несколько каталогов на HDFS, которые создаются на основе формата /data/{year}/{month}/{day}.
Я хочу загрузить эти данные в Hive (периодически) и создать соответствующие разделы. На данный момент я экспериментировал с несколькими подходами, как один ниже

CREATE EXTERNAL TABLE tablename (...) 
PARTITIONED BY (year STRING, month STRING, day STRING) 
LOCATION '/data'; 

ALTER TABLE tablename ADD PARTITION(year='2014', month='10', day='13') LOCATION '/data/2014/10/13'; 

, но при таком подходе я должен вручную создать каждый раздел с помощью команды ALTER. Есть ли способ автоматизировать и параметризовать этот процесс (и включить его в рабочий процесс) для динамической загрузки данных в разделы Hive для каждого из подкаталогов?

Answer 1

Как насчет msck ремонтный стол? Это должно автоматически загружать все разделы в подкаталог. См. Здесь: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-RecoverPartitions(MSCKREPAIRTABLE)

Answer 2

Для создания динамического раздела в вашем случае, вам нужно сделать следующее: при определении столбцов раздела

1. На сегодняшний день - Определите раздел как день (дата строки).
2. За месяц - Определите раздел как месяц (строка date)
3. В течение года - укажите год (дата строки).

Надеюсь, вы поняли концепцию. Надеюсь, это вам поможет