Таблица не найдена при использовании% SQL

Исключение брошено следующим образом для кода ниже при выполнении% SQL заявление:Таблица не найдена при использовании% SQL

Исключение - org.apache.spark.sql.AnalysisException: Таблица не найдена: businessReviews; линия 1 поз 14

Код:

val business_DF = sqlCtx.read.json("/Users/tom/Documents/Spring 2016/Java/Project/YELP/yelp/DS - YELP/yelp_academic_dataset_business.json").select("business_id", "categories", "state", "city", "name", "longitude", "latitude") 
import sqlContext.implicits._ 
business_DF.registerTempTable("businessReviews") 

%sql 
select * from businessReviews 

ZEPPELIN_SPARK_USEHIVECONTEXT set to False in zeppelin-env.sh 
export ZEPPELIN_SPARK_USEHIVECONTEXT = false # Use HiveContext instead of SQLContext if set true. true by default.

источник

2016-04-11 Prateek Mane

проверки этого примера https://github.com/alvinhenrick/apache-spark-examples/blob/master/src/main/scala/com/yelp/example/AnalyzeJSONWithDataFrame.scala – MedAli

я хочу использовать % sql, поэтому я вижу графическое представление запрошенного вывода. В приведенном выше примере не используется графическое представление show –

: http://hortonworks.com/hadoop-tutorial/hello-world-an-introduction-to-hadoop-hcatalog-hive-and-pig/#section_8 – MedAli

следующие работы для меня *:

%pyspark 

business_DF = spark.read.json("/tmp/yelp_academic_dataset_business.json") 
business_DF = business_DF.select("business_id", "categories", "state", "city", "name", "longitude", "latitude") 
business_DF.registerTempTable("businessReviews") 

%sql 
select * from businessReviews

Однако, я бы не беспокоиться временную таблицу для вашей цели описано. Вы можете просто использовать z.show(<dataframe>), например:

%pyspark 

business_DF = spark.read.json("/tmp/yelp_academic_dataset_business.json") 
business_DF = business_DF.select("business_id", "categories", "state", "city", "name", "longitude", "latitude") 
z.show(business_DF)

* Использование Спарк 2.0.0, Python 3.5.2 и снимок сборки Цеппелин (@ 04da56403b543e661dca4485f3c5a33ac53d0ede)

источник

2016-08-01 06:16:35 eddies

Добавление в начале этого ряда:

spark = SparkSession.builder.master("yarn").enableHiveSupport().getOrCreate()

работал для меня

источник

2017-10-03 11:44:39 Nir

Таблица не найдена при использовании% SQL

ответ

Смежные вопросы