Spark как двигатель для улья

Question

Можно ли использовать Spark в качестве двигателя для улья?

У нас есть много унаследованных систем и базы кода в Улье и хотели бы использовать Spark с Hive.

Бест,

Answer 1

два варианта, если вы хотите запустить улей на искры, это возможно, но это очень альфа особенность: https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

ИМХО лучше использовать Спарк SQL и назначенный HiveContext, что вы можете использовать так:

// sc is an existing SparkContext. 
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) 

sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)") 
sqlContext.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src") 

// Queries are expressed in HiveQL 
sqlContext.sql("FROM src SELECT key, value").collect().foreach(println) 

в общем, я предлагаю вам загружать таблицы Hive с помощью искровой SQL и использовать все свои Hive запросы, но через Спарк API, SQL для.

Вы можете найти больше информации здесь: http://spark.apache.org/docs/1.2.0/sql-programming-guide.html

, что ответить на ваш вопрос?

С уважением,

Answer 2

Вы можете выполнить улей запросов на выполнение искрового engine.Hive имеет большое количество зависимостей, эти зависимости не включены в дистрибутив по умолчанию Спарк. Если зависимости Hive можно найти в пути к классам, Spark автоматически загрузит их.

Вы можете найти код здесь: spark-hive-example