Проблемы с HIVE запрос (SELECT COUNT (*))

Я создал улей таблицы в Create external with Partition Проблемы с HIVE запрос (SELECT COUNT (*))

Я использую улью версию hive-0.7.1-cdh3u2. Когда я запускал простой запрос, то я выбираю count (*), я получаю ошибку.

hive> select count(*) from test where dt='2012-01-30' and hr='17'; 
Total MapReduce jobs = 1 
Launching Job 1 out of 1 
Number of reduce tasks determined at compile time: 1 
In order to change the average load for a reducer (in bytes): 
    set hive.exec.reducers.bytes.per.reducer=<number> 
In order to limit the maximum number of reducers: 
    set hive.exec.reducers.max=<number> 
In order to set a constant number of reducers: 
    set mapred.reduce.tasks=<number> 
Starting Job = job_201201311809_0006, Tracking URL = http://localhost:15030/jobdetails.jsp?jobid=job_201201311809_0006 
Kill Command = /Users/balaji/svn/app/hadoop/hadoop-0.20.2-cdh3u2/bin/hadoop job -Dmapred.job.tracker=localhost:10012 -kill job_201201311809_0006 
2012-01-31 21:20:58,074 Stage-1 map = 0%, reduce = 0% 
2012-01-31 21:21:25,402 Stage-1 map = 100%, reduce = 100% 
Ended Job = job_201201311809_0006 with errors

И ошибка JobTracker является

FAILED 

java.lang.RuntimeException: java.lang.reflect.InvocationTargetException 
    at org.apache.hadoop.hive.shims.Hadoop20SShims$CombineFileRecordReader.initNextRecordReader(Hadoop20SShims.java:306) 
    at org.apache.hadoop.hive.shims.Hadoop20SShims$CombineFileRecordReader.<init>(Hadoop20SShims.java:269) 
    at org.apache.hadoop.hive.shims.Hadoop20SShims$CombineFileInputFormatShim.getRecordReader(Hadoop20SShims.java:366) 
    at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:413) 
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:371) 
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:325) 
    at org.apache.hadoop.mapred.Child$4.run(Child.java:270) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:396) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1127) 
    at org.apache.hadoop.mapred.Child.main(Child.java:264) 
Caused by: java.lang.reflect.InvocationTargetException 
    at sun

Может кто-то пожалуйста, помогите. Из-за этой проблемы я полностью заблокирован. Благодаря!

источник

2012-02-01 Balaji

это также случается с не внешними таблицами? Какую версию hadoop вы используете? – wlk

Я не пробовал с внешними таблицами. Я использую hasoop-0.20.2-cdh3u2. – Balaji

Hi Wojtek - Проблема возникает даже в нестандартных таблицах. Я предполагаю, что проблема связана с w.r.t, но не уверен, какой из них ее вызывает. – Balaji

Я нашел проблему. Улей искал банку Серде, чтобы выполнить ее в Hadoop. Got фиксируется путем добавления свойства в улье-DEFAULT.XML

<property> 
    <name>hive.aux.jars.path</name> 
    <value>serde jar path in hadoop</value> 
</property>

Спасибо

источник

2012-02-08 07:26:22 Balaji

Проблемы с HIVE запрос (SELECT COUNT (*))

ответ

Смежные вопросы