Oozie Hive workflow intermitent

Question

У меня в настоящее время проблема, когда с перерывами мой рабочий процесс oozie не сможет подключиться к моему метафору улья. Кажется, у него заканчиваются соединения с улей-метасторе?

Вызванный: MetaException (сообщение: Не удалось подключиться к мета-магазин с помощью любой из URI, предоставленных Самая недавняя неудача:. org.apache.thrift.transport.TTransportException: java.net.ConnectException: Подключение отказался на org.apache.thrift.transport.TSocket.open (TSocket.java:185) на org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open (HiveMetaStoreClient.java:277) на org.apache.hadoop .hive.metastore.HiveMetaStoreClient. (HiveMetaStoreClient.java:163) at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (родной метод) на sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:39) в sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl.java:27) в java.lang.reflect.Constructor.newInstance (Constructor.java:513) at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance (MetaStoreUtils.java:1082) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient. (RetryingMetaStoreClient.java:51) at org.apache.hadoop. hive.metastore.RetryingMetaStoreClient.getProxy (RetryingMetaStoreClient.java:61) at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient (Hive.java:2140) at org.apache.hadoop.hive.ql. metadata.Hive.getMSC (Hive.java:2151) at org.apache.hadoop.hive.ql.metadata.Hive.getTablesByPattern (Hive.java:1013) at org.apache.hadoop.hive.ql.metadata.Hive.getTablesByPattern (Hive.java:1000) at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeCreateTable (SemanticAnalyzer.java:8732) at org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal (SemanticAnalyzer.java:8097) at org. apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze (BaseSemanticAnalyzer.java:258) at org.apache.hadoop.hive.ql.Driver.compile (Driver.java:443) at org.apache.hadoop. hive.ql.Driver.compile (Driver.java:347) at org.apache.hadoop.hive.ql.Driver.run (Driver.java:908) at org.apache.hadoop.hive.cli.CliDr iver.processLocalCmd (CliDriver.java:259) на org.apache.hadoop.hive.cli.CliDriver.processCmd (CliDriver.java:216) на org.apache.hadoop.hive.cli.CliDriver.processLine (CliDriver. java: 412) at org.apache.hadoop.hive.cli.CliDriver.processLine (CliDriver.java:347) at org.apache.hadoop.hive.cli.CliDriver.processReader (CliDriver.java:445) at org.apache.hadoop.hive.cli.CliDriver.processFile (CliDriver.java:455) at org.apache.hadoop.hive.cli.CliDriver.run (CliDriver.java:711) at org.apache.hadoop. hive.cli.CliDriver.main (CliDriver.java:613) at org.apache.oozie.action.hadoop.HiveMain.runHive (HiveMain.java:261) at org.apache.oozie.action.hadoop.HiveM ain.run (HiveMain.java:238) at org.apache.oozie.action.hadoop.LauncherMain.run (LauncherMain.java:37) at org.apache.oozie.action.hadoop.HiveMain.main (HiveMain. Java: 49) на sun.reflect.NativeMethodAccessorImpl.invoke0 (нативный метод) на sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:39) на sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:25) в java.lang.reflect.Method.invoke (метод.java: 597) at org.apache.oozie.action.hadoop.LauncherMapper.map (LauncherMapper.java:491) at org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:50) at org. apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:418) at org.apache.hadoop.mapred.MapTask.run (MapTask.java:333) at org.apache.hadoop.mapred.Child $ 4.run (Child.java:268) at java.security.AccessController.doPrivileged (родной метод) at javax.security.auth.Subject.doAs (Subject.java:396) at org.apache.hadoop.security.UserGroupInformation. doAs (UserGroupInformation.java:1408) at org.apache.hadoop.mapred.Child.main (Child.java:262) Причиненный: java.net.ConnectException: Соединение отклонено на java.net.PlainSocketImpl.socketConnect (Native Method) в java.net.PlainSocketImpl.doConnect (PlainSocketImpl.java:351) в java.net.PlainSocketImpl.connectToAddress (PlainSocketImpl.java : 213) на java.net.PlainSocketImpl.connect (PlainSocketImpl.java:200) на java.net.SocksSocketImpl.connect (SocksSocketImpl.java:366) на java.net.Socket.connect (Socket.java:529) в org.apache.thrift.transport.TSocket.open (TSocket.java:180) ... более 44 ) в org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open (HiveMetaStoreClient.java:323) at org.apache.hadoop.hive.metastore.HiveMetaStoreClient. (HiveMetaStoreClient.java:163) ... 42 еще FAILED: Ошибка в метаданных: java.lang.RuntimeException: не удалось создать экземпляр org.apache.hadoop. hive.metastore.HiveMetaStoreClient

Я могу запустить куст из командной строки. Используйте hue для связи с hive-metastore и выполнения запросов. Кажется, это происходит только наполовину через мои рабочие процессы oozie. Каждое действие кустов i commit имеет конфигурацию hive-site.xml как oozie.hive.defaults.

улей site.xml

<property> <name>hive.metastore.uris</name> 
<value>thrift://localhost:9083</value> <description>Thrift uri for 
the remote metastore. Used by metastore client to connect to remote 
metastore.</description> </property> 

<property> <name>datanucleus.fixedDatastore</name> 
    <value>false</value> </property> 

<property> <name>javax.jdo.option.ConnectionURL</name> 
<value>jdbc:mysql://localhost:3306/metastore</value> 
<description>JDBC connect string for a JDBC metastore</description> 
</property> 

<property> <name>javax.jdo.option.ConnectionDriverName</name> 
<value>com.mysql.jdbc.Driver</value> <description>Driver class name 
for a JDBC metastore</description> </property> 

<property> <name>javax.jdo.option.ConnectionUserName</name> 
<value>hive</value> <description>username to use against metastore 
database</description> </property> 

<property> <name>javax.jdo.option.ConnectionPassword</name> 
<value>hive</value> <description>password to use against metastore 
database</description> </property> 

улей metastore, улое сервер2, MySQL-сервер и oozie все работает на тот же хост на данный момент так LOCALHOST работ. Есть идеи? У меня есть oozie share lib default true enabled, а sharelibs создан.

CDH 4.2.1 Пакеты

-oozie: oozie-3.3.0

-hive-metastore: улей-metastore-0.10.0

-hive сервер2: улей-server2- 0.10.0

-mysql-сервер: MySQL-сервер-5.1.69-1

Любая помощь будет принята с благодарностью

Answer 1

oozie.hive.defaults устарел в действии «Улей». Можете ли вы попробовать, чтобы Job Xml указал на hive-site.xml, загруженный на HDFS?