Установка MySQL как метастор для встроенного искрового улья

Question

У меня есть искра, проект scala sbt с использованием искры. Мне нужно несколько создать HiveContexts, что не допускается встроенным дерби для искрового улья. Может ли кто-нибудь помочь мне с настройкой mysql в качестве метастора вместо derby, который является дефолтом по умолчанию. У меня нет фактического улья, установленного или искры. Я использую зависимость sbt от искры и улья.

Answer 1

Copy улья site.xml файл в каталоге конф Спарк и изменить некоторые свойства в этом файле

<property> 
    <name>javax.jdo.option.ConnectionURL</name> 
    <value>jdbc:mysql://localhost:3306/metastore_db?createDatabaseIfNotExist=true</value> 
    <description>JDBC connect string for a JDBC metastore</description> 
</property> 

<property> 
    <name>javax.jdo.option.ConnectionDriverName</name> 
    <value>com.mysql.jdbc.Driver</value> 
    <description>Driver class name for a JDBC metastore</description> 
</property> 

<property> 
    <name>javax.jdo.option.ConnectionUserName</name> 
    <value>hive</value> 
    <description>username to use against metastore database</description> 
</property> 

<property> 
    <name>javax.jdo.option.ConnectionPassword</name> 
    <value>hive</value> 
    <description>password to use against metastore database</description> 
</property> 

Answer 2

Шакти

Вы должны иметь конфигурационные файлы в пути к классам. Я использую хаоп, улей и искру с Intellij. В Intellij у меня есть файл:/usr/local/spark/conf /, file:/usr/local/hadoop/etc/hadoop/и файл:/usr/local/hive/conf/в моем пути к классу. Вы можете использовать следующую команду, чтобы напечатать во время выполнения путь к классу:

val cl = ClassLoader.getSystemClassLoader 
    cl.asInstanceOf[java.net.URLClassLoader].getURLs.foreach(println) 

Я надеюсь, что это поможет, если вы еще не нашли исправление.