Конфигурация хранилища с дерби

В тестовом сервере RedHat я установил hadoop 2.7, и я запустил Hive, Pig & Искры с проблемами. Но когда пытались получить доступ к метасторе Hive от Spark, у меня появились ошибки. Поэтому я подумал о том, чтобы положить улей-сайт. xml (После извлечения файла apache-hive-1.2.1-bin.tar.gz я просто добавляю $ HIVE_HOME в bashrc согласно учебнику, и все работает, кроме этой интеграции с Spark). На сайте Apache я обнаружил, что мне нужно ставить улей-site.xml как конфигурация metastore Я создал файл, как показано нижеКонфигурация хранилища с дерби

<configuration> 
<property> 
    <name>javax.jdo.option.ConnectionURL</name> 
    <value>jdbc:derby://localhost:1527/metastore_db;create=true</value> 
    <description>JDBC connect string for a JDBC metastore</description> 
</property> 
</configuration>

Я поставил IP в качестве локального хоста, так как это единственный узел машины .После т hat Я не могу подключиться даже к Hive. Это ошибка бросания

Исключение из потока "main" java.lang.RuntimeException: java.lang.RuntimeException: Не удалось создать org.apache.hadoop.hive.ql. metadata.SessionHiveMetaStoreClient в org.apache.hadoop.hive.ql.session.SessionState.start (SessionState.java:522)

.... Вызванный: javax.jdo.JDOFatalDataStoreException: Не удается открыть тест подключение к данной базе данных. JDBC url = jdbc: derby: // localhost: 1527/metastore_db; create = true, username = APP. Прекращение пула соединений (установите lazyInit на true, если вы планируете запустить свою базу данных после своего приложения). Исходное исключение: ------ java.sql.SQLException: Не найдено подходящего драйвера для jdbc: derby: // localhost: 1527/metastore_db; create = true

Существует много журналов ошибок, указывающих на то же самое вещь . Если удалить улей-site.xml из улья папки конф работает без проблем .Can, кто указывает мне на правильный путь для конфигурации по умолчанию metastore Благодаря Anoop R

источник

2016-02-05 Anoop R

Вы можете попробовать установить команду echo $ CLASSPATH в сценарий куста. Но я пробовал все предложения по stackoverflow и т. Д. И получал такую же ошибку. Я собираюсь сдаться и попробовать Spark или Hbase или что-то еще. Вот .bashrc: 'export HIVE_HOME =/usr/local/hive/apache-hive-2.1.1-bin export PATH = $ HIVE_HOME/bin: $ PATH export DERBY_INSTALL =/usr/local/derby/db- котелок-10.13.1.1-бен экспорт DERBY_HOME = $ DERBY_INSTALL экспорт PATH = $ PATH: $ DERBY_HOME/бен экспорт HIVE_CONF_DIR = $ HIVE_HOME/конф экспорт CLASSPATH = $ CLASSPATH: $ DERBY_HOME/Библиотека/котелок.jar: $ DERBY_HOME/lib/derbytools.jar' –

-1

Derby используется в качестве встроенной базы данных. попробуйте использовать

jdbc:derby:metastore_db;create=true

as jdbc-url. смотри также

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin#AdminManualMetastoreAdmin-EmbeddedMetastore

Чтобы использовать metastore полностью функциональный (и тем, чтобы иметь возможность доступа к нему из различных служб), попробуйте установить с использованием MySQL, как описано в документе выше.

источник

2016-02-05 11:50:47 cybye

Вы можете использовать Derby в режиме сервера. См. [HiveDerbyServerMode] (https://cwiki.apache.org/confluence/display/Hive/HiveDerbyServerMode). – zero323

Я изменил hive-ste.xml, добавил, что для conf папки. Но теперь я получаю другую ошибку Исключение в потоке «main» java.lang.RuntimeException: java.net.ConnectException: Call From MTD-BORHTC01.inetservices.com/ 127.0.1.1 to localhost: 9000 не удалось выполнить соединение: java.net.ConnectException: соединение отклонено; Для получения дополнительной информации см .: http://wiki.apache.org/hadoop/ConnectionRefused Есть ли что-то, что было удалено или сделано неправильно с моего конца. Спасибо –

Проблема решена для улья после того, как я перезапустил hadoop с помощью stop -all.sh, затем start-all.sh после этого возникла проблема с safemode. Это также было разрешено с помощью команды hadoop dfsadmin -safemode leave. Я скопировал файл, чтобы вызвать папку conf.Still Spark shell бросает предупреждение »16/02/05 07:52:11 WARN ObjectStore: информация о версии не найдена в метасторе. Hive.metastore.schema.verification не активирована, поэтому запись схемы версия 1.2.0 16/02/05 07:52:11 WARN ObjectStore: не удалось получить базу данных по умолчанию, возвращая NoSuchObjectException «Что может быть проблемой с Spark conf –

Как вы настраиваете встроенную базу данных metastore, используйте свойство ниже как URL JDBC:

<property> 
    <name>javax.jdo.option.ConnectionURL</name> 
    <value>jdbc:derby:metastore_db;create=true </value> 
    <description>JDBC connect string for a JDBC metastore </description> 
</property>

источник

2016-09-17 18:31:37

Я также сталкиваются с подобного рода исключения при установке улей. Вещь, которая работала для меня, состояла в том, чтобы инициализировать дерби db. Для решения проблемы я использовал следующую команду: command -> Перейти в $ HIVE_HOME/bin и запустить команду schematool -initSchema -dbType derby. Вы можете перейти по ссылке http://www.edureka.co/blog/apache-hive-installation-on-ubuntu

источник

2016-11-29 10:38:49

Конфигурация хранилища с дерби

ответ

Смежные вопросы