Как использовать hadoop от искрового бережливого сервера?

Question

Обратите внимание на следующую настройку. релиз

Hadoop версия 2.6.4

искра версия 2.1.0

OS CentOS Linux 7.2.1511 (ядро)

Все программное обеспечение, установленное на одном компьютере в виде одного узла кластера, искра установлена ​​в автономном режиме. Я пытаюсь использовать Spark Thrift Server. Чтобы запустить сервер с искровой бережливостью я бег сценария оболочки start-thriftserver.sh

После запуска сервера бережливости, я могу запустить Билайн инструмента командной строки и введите следующие команды: команды успешно работать:

!connect jdbc:hive2://localhost:10000 user_name '' org.apache.hive.jdbc.HiveDriver 
create database testdb; 
use testdb; 
create table names_tab(a int, name string) row format delimited fields terminated by ' '; 

Мой первый вопрос: где на haddop находится основной файл/папка для этой таблицы/базы данных? Проблема даже в том случае, если hasoop остановлен с использованием stop -all.sh, команда create table/database успешно завершена, , что заставляет меня думать, что таблица вообще не создана на hadoop.

Мой второй вопрос: как я могу рассказать, где в мире установлен hadoop? и попросите искру использовать хаоп в качестве основного хранилища данных для всех запросов, запущенных с beeline.

Я должен установить искру в каком-то другом режиме?

Заранее спасибо.

Answer 1

Моя цель состояла в том, чтобы запустить утилиту командной строки beeline через Spark Thrift Server, используя hadoop в качестве основного хранилища данных, и я получил его для работы. Моя установка была такой:

Hadoop <--> Spark <--> SparkThriftServer <--> beeline 

Я хотел настроить искру таким образом, что он использует Hadoop для всех запросов, выполняемых на билайн утилиты командной строки. Трюк состоял в том, чтобы указать следующее свойство в spark-defaults.xml.

spark.sql.warehouse.dir hdfs://localhost:9000/user/hive/warehouse 

По умолчанию искрой использует котелок для обоих мета-данных и самих данных (так называемый склад в искру) Для того, чтобы иметь искру использовать Hadoop в качестве склада, я должен был добавить это свойство.

Вот пример вывода

./beeline 
Beeline version 1.0.1 by Apache Hive 
beeline> !connect jdbc:hive2://localhost:10000 abbasbutt '' org.apache.hive.jdbc.HiveDriver 
Connecting to jdbc:hive2://localhost:10000 
SLF4J: Class path contains multiple SLF4J bindings. 
SLF4J: Found binding in [jar:file:/home/abbasbutt/Projects/hadoop_fdw/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] 
SLF4J: Found binding in [jar:file:/home/abbasbutt/Projects/hadoop_fdw/apache-hive-1.0.1-bin/lib/hive-jdbc-1.0.1-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class] 
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. 
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] 
Connected to: Spark SQL (version 2.1.0) 
Driver: Hive JDBC (version 1.0.1) 
Transaction isolation: TRANSACTION_REPEATABLE_READ 
0: jdbc:hive2://localhost:10000> 
0: jdbc:hive2://localhost:10000> 
0: jdbc:hive2://localhost:10000> 
0: jdbc:hive2://localhost:10000> create database my_test_db; 
+---------+--+ 
| Result | 
+---------+--+ 
+---------+--+ 
No rows selected (0.379 seconds) 
0: jdbc:hive2://localhost:10000> use my_test_db; 
+---------+--+ 
| Result | 
+---------+--+ 
+---------+--+ 
No rows selected (0.03 seconds) 
0: jdbc:hive2://localhost:10000> create table my_names_tab(a int, b string) row format delimited fields terminated by ' '; 
+---------+--+ 
| Result | 
+---------+--+ 
+---------+--+ 
No rows selected (0.11 seconds) 
0: jdbc:hive2://localhost:10000> 

Вот соответствующие файлы в Hadoop

[abbasbutt@localhost test]$ hadoop fs -ls /user/hive/warehouse/ 
17/01/19 10:48:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Found 4 items 
drwxrwxr-x - abbasbutt supergroup   0 2017-01-18 23:45 /user/hive/warehouse/fdw_db.db 
drwxrwxr-x - abbasbutt supergroup   0 2017-01-18 23:23 /user/hive/warehouse/my_spark_db.db 
drwxrwxr-x - abbasbutt supergroup   0 2017-01-19 10:47 /user/hive/warehouse/my_test_db.db 
drwxrwxr-x - abbasbutt supergroup   0 2017-01-18 23:45 /user/hive/warehouse/testdb.db 

[abbasbutt@localhost test]$ hadoop fs -ls /user/hive/warehouse/my_test_db.db/ 
17/01/19 10:50:52 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Found 1 items 
drwxrwxr-x - abbasbutt supergroup   0 2017-01-19 10:50 /user/hive/warehouse/my_test_db.db/my_names_tab 
[abbasbutt@localhost test]$