Результаты уюта сохранить как файл паркета

Question

Я пытаюсь создать файл snappy.parquet из таблицы Hive. Для его большой секционированной таблицы нужна небольшая часть. Делать это:

set parquet.compression=SNAPPY; 
set hive.exec.compress.output=true; 
set hive.exec.compress.intermediate=true; 
set hive.exec.parallel=true; 
set mapred.output.compress=true; 
set mapreduce.output.fileoutputformat.compress=true; 
set mapred.compress.map.output=true; 
set mapreduce.map.output.compress=true; 
set mapred.output.compression.type=BLOCK; 
set mapreduce.output.fileoutputformat.compress.type=BLOCK; 
set io.seqfile.compression.type = BLOCK; 
insert overwrite directory 'EXTERNAL_DIRECTORY' STORED AS PARQUET select * from SOURCE_TABLE; 

Это создает 000000_0 файл со следующей схемой:

message hive_schema { 
optional int32 _col0; 
optional binary _col1 (UTF8); 
optional binary _col2 (UTF8); 
optional binary _col3 (UTF8); 
optional binary _col4 (UTF8); 
optional binary _col5 (UTF8); 
optional binary _col6 (UTF8); 
optional binary _col7 (UTF8); 
optional int64 _col8; 
optional int64 _col9; 
optional int64 _col10; 
) 

Теряя все имена столбцов из source_table. Как я могу сохранить его правильно, поэтому я могу использовать его как таблицу улей позже?

Answer 1

Я бы создал новую внешнюю таблицу для вашего набора данных, выбрав все данные из исходных разделов, которые вы после. Тогда у вас будет таблица и файл, которые можно использовать. Вы не можете создать таблицу create в качестве оператора выбора, начиная с внешних таблиц, поэтому вам нужно сначала создать таблицу, а затем загрузить в нее данные.

create external table yourNewTable (use your source table DDL...) 
    stored as parquet location '/yourNewLocation'; 

insert into yourNewTable 
    select * from yourSourceTable where yourPartitionedFieldNames = 'desiredPartitionName';