ВИЧ. Загрузка CSV с динамическими столбцами

Question

Могу ли я загрузить CSV-файл с заголовками в таблицу hive? файл имеет динамическое число столбцов? Например, я создал внешнюю таблицу CREATE EXTERNAL TABLE art_stat(art sting, rate1 string, rate2 string, prop1 string,prop2 string) ...

У меня есть CSV-файлы с заголовками File1 (имеет только три columnth):

ART,RATE1,PROP2 
apple,109,red 
apple,90,green 
grape,10,red 
...... 

file2 (имеет только подпирает columnth):

ART,PROP1,PROP2 
candy,109,black 
cooky,90,brown 
grape,10,red 
...... 

Как загрузить эти файлы в таблицу, используя стандартные инструменты для улей?

Я одна идея создания Баш скрипт, который создает временную таблицу с текущими столбцами, а затем загрузить данные из таблицы темп для целевой таблицы

Есть идеи?

Answer 1

Я нашел решение. Использует тип карты для динамических столбцов. создать таблицу art_data(art string, D map<string,string>). Я сделал обычную библиотеку SerDe для передачи моих файлов csv с динамическим форматом в постоянный формат с map столбец