SparkSQL с энцефалопатией

Question

Я пытаюсь пользователя HIVEContext с SparkSQL, и когда я создаю

val hContext = new org.apache.spark.sql.hive.HiveContext(sc) 

Я понимаю, что улей не является членом spark.sql, когда я заглянул в documentation он говорит, что я следует использовать sbt/sbt -Phive assembly/assembly Но как я могу запустить это? Я не понимаю, что мне следует заменить?

Answer 1

Чтобы получить поддержку улья, вам необходимо загрузить исходный код, а затем построить его с помощью sbt или maven. Вот список шагов, чтобы сделать так:

1. Скачать источник Спарк от: Spark Downloads, убедитесь, что вы выберите «тип пакета» в качестве «исходного кода». Для получения консенсуса здесь есть прямая ссылка для скачивания Spark 1.3 source.

2. После загрузки экстракта и компилировать с помощью maven, поскольку Maven является рекомендуемым способом строить движение вперед:

   tar xzf spark-[version].tgz 
   cd spark-[version] 
   ./make-distribution.sh --skip-java-test --tgz -Dhadoop.version=2.4.0 -Pyarn -Phive -Phive-thriftserver 
   

3. Это создаст деготь мяч в корневой директории проекта, как spark-[version]-bin-2.4.0.tgz, который может быть легко отправлен кластер или извлечение на одной машине.