1
можно легко создать формат файла ORC в Apache Hadoop или Hortonworks' HDP:Как создать файл ORC в Hive CDH?
CREATE TABLE ... STORED AS ORC
Однако это не работает в CDH Cloudera в 4.5. (! Сюрприз) я получаю:
FAILED: SemanticException Unrecognized file format in STORED AS clause: ORC
Так как альтернатива, я попытался загрузить и установить баночку улей, который содержит классы ORC:
hive> add jar /opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hive/lib/hive-exec-0.11.0.jar;
Затем создайте мой ORC Таблица:
hive> CREATE TABLE test (name STRING)
> row format serde
> 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
> stored as inputformat
> 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
> outputformat
> 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat';
OK
Но при вставке в эту таблицу из некоторых данных CSV, я получаю сообщение об ошибке:
hive> INSERT OVERWRITE TABLE test
> SELECT name FROM textdata;
Diagnostic Messages for this Task:
java.lang.RuntimeException: Error in configuring object
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:75)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:133)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:413)
Как создать таблицу ORC в Hive в CDH?