Spark Thrift Server - Невозможно запустить (ошибка улья)

Я пытаюсь запустить сервер Spark Thrift (Spark 1.2) на HDP 2.2.0 с Hive 0.14 (последний дистрибутив HortonWorks), но, к сожалению, я получаю эту ошибку, для меня довольно загадочно:Spark Thrift Server - Невозможно запустить (ошибка улья)

Exception in thread "main" java.lang.RuntimeException: java.lang.NumberFormatException: For input string: "5s" 
     at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:346) 
     at org.apache.spark.sql.hive.HiveContext$$anonfun$4.apply(HiveContext.scala:235) 
     at org.apache.spark.sql.hive.HiveContext$$anonfun$4.apply(HiveContext.scala:231) 
     at scala.Option.orElse(Option.scala:257) 
     at org.apache.spark.sql.hive.HiveContext.x$3$lzycompute(HiveContext.scala:231) 
     at org.apache.spark.sql.hive.HiveContext.x$3(HiveContext.scala:229) 
     at org.apache.spark.sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:229) 
     at org.apache.spark.sql.hive.HiveContext.hiveconf(HiveContext.scala:229) 
     at org.apache.spark.sql.hive.HiveContext.runHive(HiveContext.scala:292) 
     at org.apache.spark.sql.hive.HiveContext.runSqlHive(HiveContext.scala:276) 
     at org.apache.spark.sql.hive.HiveContext.setConf(HiveContext.scala:248) 
     at org.apache.spark.sql.SQLContext$$anonfun$2.apply(SQLContext.scala:91) 
     at org.apache.spark.sql.SQLContext$$anonfun$2.apply(SQLContext.scala:90) 
     at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) 
     at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108) 
     at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:90) 
     at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:72) 
     at org.apache.spark.sql.hive.thriftserver.SparkSQLEnv$.init(SparkSQLEnv.scala:51) 
     at org.apache.spark.sql.hive.thriftserver.HiveThriftServer2$.main(HiveThriftServer2.scala:56) 
     at org.apache.spark.sql.hive.thriftserver.HiveThriftServer2.main(HiveThriftServer2.scala) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:358) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
Caused by: java.lang.NumberFormatException: For input string: "5s" 
     at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) 
     at java.lang.Integer.parseInt(Integer.java:492) 
     at java.lang.Integer.parseInt(Integer.java:527) 
     at org.apache.hadoop.conf.Configuration.getInt(Configuration.java:1094) 
     at org.apache.hadoop.hive.conf.HiveConf.getIntVar(HiveConf.java:1211) 
     at org.apache.hadoop.hive.conf.HiveConf.getIntVar(HiveConf.java:1220) 
     at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:58) 
     at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:72) 
     at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2453) 
     at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2465) 
     at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:340) 
     ... 26 more

Может кто-нибудь помочь мне решить эту проблему? То же самое происходит, когда я пытаюсь выполнить любую команду из оболочки Spark, связанной с Hive (например, создание таблицы, вставка данных в существующую и т. Д.).

источник

2015-02-02 Vittorio Cozzolino

Вы должны просмотреть свою конфигурацию.

Проверьте, можете ли вы выдавать команды из Hive.
Если нет, обратите внимание на строки «5S» в медоносной site.xml

источник

2015-02-02 10:22:42 Harman

Спасибо, много! Я боролся с этой ошибкой на пару дней, и я действительно не мог понять, что происходит. Вы сделали мой день :) –

@ Vittorio Не волнует bro :) Я рад, что это помогло вам – Harman

Я столкнулся с той же ошибкой. HDP2.2.4 имеют неправильный конфигурационный файл для улья

<property> 
    <name>hive.metastore.client.connect.retry.delay</name> 
    <value>5s</value> 
</property>

должен быть

<value>5<values>

Hontonworks форум очень медленно для пользователей из Китая. Так что я не могу опубликовать эту ошибку для них = _ = «

источник

2015-04-20 09:37:04

Spark Thrift Server - Невозможно запустить (ошибка улья)

ответ

Смежные вопросы