HiveContext не работает от Oozie

Я пытался запустить некоторые запросы на улей из своего искрового кода, используя объект HiveContext. Он работал нормально, когда я запускал его из командной строки, используя функцию spark submit. Но я получаю следующее исключение, когда пытаюсь запустить то же самое из рабочего процесса oozie.HiveContext не работает от Oozie

User class threw exception: java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

источник

2016-08-03 yAsH

Вы должны добавить ресурс Hive sharelib в действие Spark, если используются классы Hive. Вы можете установить следующее свойство либо в oozie-DEFAULT.XML, в рабочем процессе или в конфигурации действия:

<configuration> 
    <property> 
     <name>oozie.action.sharelib.for.spark</name> 
     <value>spark,hive</value> 
    </property> 
</configuration>

источник

2016-08-03 22:59:49 gezapeti

Я обновил рабочий процесс с указанным выше свойством, и рабочий процесс был успешным. Но мне не удалось найти таблицы, которые я создавал. – yAsH

Возможно, вам нужно вставить hive-site.xml в тег рабочего процесса и в Spark с помощью файла -file pathi/to/hive-site.xml в теге <искровых опций>. – gezapeti

HiveContext не работает от Oozie

ответ

Смежные вопросы