Путь для постоянных, управляемых таблиц hive в Spark 1.4

Question

Я новичок в Spark и работаю над примером JavaSqlNetworkWordCount, чтобы добавить число слов в постоянную таблицу. Я понимаю, что я могу это сделать только через HiveContext. Однако HiveContext пытается сохранить таблицу в/user/hive/storage /. Я попытался изменить путь, добавив

hiveContext.setConf("hive.metastore.warehouse.dir", "/home/user_name"); 

и добавив свойство

<property><name>hive.metastore.warehouse.dir</name> 
<value>/home/user_name</value></property> 

$ SPARK_HOME/CONF/улья site.xml, но ничего не похоже на работу. Если кто-то еще столкнулся с этой проблемой, сообщите мне, если/как вы ее разрешили. Я использую Spark1.4 на своей локальной машине RHEL5.

Answer 1

Я думаю, что я решил проблему. Похоже, что spark-submit создавал каталог metastore_db в корневой директории файла jar. Если metastore_db существует, значения hive-stie.xml игнорируются. Как только я удалил этот каталог, код взял значения из hive-site.xml. Тем не менее, я по-прежнему не могу установить значение свойства hive.metastore.warehouse.dir из кода.