Подходящие таблицы улья в искры

Question

У меня есть установка улья 0.13 и созданы пользовательские базы данных. У меня есть искры 1.1.0 кластера с одним узлом, построенного с использованием опции mvn -hive. Я хочу получить доступ к таблицам в этой базе данных в искровом приложении, используя hivecontext. Но hivecontext всегда читает локальный метастар, созданный в искровом каталоге. Я скопировал hive-site.xml в каталоге spark/conf.
Нужно ли мне делать какую-либо другую конфигурацию?

Answer 1

Шаг 1: установки SPARK с последней версией ....

$ cd $SPARK_Home; ./sbt/sbt -Phive assembly 
$ cd $SPARK_Home; ./sbt/sbt -Phivethriftserver assembly 

Выполнив это, вы будете загружать несколько файлов фляги и bydefault он будет добавлен нет необходимости добавлять ....

Шаг 2:
Копирование hive-site.xml из кластера Улья к вашему $SPARK_HOME/conf/dir и редактировать файл XML и добавить эти свойства в этот файл, который приведен ниже:

<property> 
    <name>javax.jdo.option.ConnectionURL</name> 
    <value>jdbc:mysql://MYSQL_HOST:3306/hive_{version}</value> 
    <description>JDBC connect string for a JDBC metastore</description> 
</property> 
<property> 
    <name>javax.jdo.option.ConnectionDriverName</name> 
    <value>com.mysql.jdbc.Driver</value> 
    <description>Driver class name for a JDBC metastore/description> 
</property> 
<property> 
    <name>javax.jdo.option.ConnectionUserName</name> 
    <value>XXXXXXXX</value> 
    <description>Username to use against metastore database/description> 
</property> 
<property> 
    <name>javax.jdo.option.ConnectionPassword</name> 
    <value>XXXXXXXX</value> 
    <description>Password to use against metastore database/description> 
</property> 

Шаг 3: Загрузите разъем MYSQL JDBC и добавьте его в SPARK CLASSPATH. Запустите эту команду bin/compute-classpath.sh
и добавьте следующую строку для следующего скрипта.

CLASSPATH=”$CLASSPATH:$PATH_TO_mysql-connector-java-5.1.10.jar 

---

Как извлечь данные из энцефалопатии в СПАРК ....

Шаг 1:
Start всех Deamons по следующей команде ....

start-all.sh 

Шаг 2:
Запустите сервер улавливания улей 2 следующей командой ....

hive --service hiveserver2 & 

Шаг 3:
Start искрой сервер с помощью следующей команды ....

start-spark.sh 

И, наконец, проверить, является ли запущены эти или нет, проверив с помощью следующей команды ....

RunJar 
ResourceManager 
Master 
NameNode 
SecondaryNameNode 
Worker 
Jps 
JobHistoryServer 
DataNode 
NodeManager 

Шаг 4:
Запустите мастер с помощью следующей команды ....

./sbin/start-master.sh 

Чтобы остановить мастер использовать следующую команду .....

./sbin/stop-master.sh 

Шаг 5:
Открыть новый терминал ....
Start Билайна по следующему пути ....

hadoop@localhost:/usr/local/hadoop/hive/bin$ beeline 

После того, как он запросит ввод ... Передайте вход, который указан ниже ....

!connect jdbc:hive2://localhost:10000 hadoop "" org.apache.hive.jdbc.HiveDriver 

После этого установите SPARK с помощью следующих команд ....
Примечание: установить эти настройки на конф файле, нет необходимости работать всегда ....

set spark.master=spark://localhost:7077; 
set hive.execution.engines=spark; 
set spark.executor.memory=2g; // set the memory depends on your server 
set spark.serializer=org.apache.spark.serializer.kryoSerializer; 
set spark.io.compression.codec=org.apache.spark.io.LZFCompressionCodec; 

После этого запрашивает ввод .... Передайте запрос, который вы хотите получить данные .... и откройте браузер и проверьте URL-адрес с помощью следующей команды localhost: 8080 В URL-адресе вы можете увидеть Запущенные задания и Завершенные задания. ...