Спарк SQL вставить в выберите вопрос

Question

INSERT INTO hive_table SELECT b.id,a.id FROM hive_table_1 a,hive_table_2 b WHERE a.id BETWEEN b.id1 AND b.id2; 

выполнить такой SQL на искрового SQL получил ошибку:

ERROR CliDriver: org.apache.spark.sql.AnalysisException: missing TABLE at 'hive_table' near '<EOF>'; line 1 pos 12
at org.apache.spark.sql.hive.HiveQl$.createPlan(HiveQl.scala:289)
at org.apache.spark.sql.hive.ExtendedHiveQlParser$$anonfun$hiveQl$1.apply(ExtendedHiveQlParser.scala:41)
at org.apache.spark.sql.hive.ExtendedHiveQlParser$$anonfun$hiveQl$1.apply(ExtendedHiveQlParser.scala:40)

Но работать нормально в улье-кли или Билайне. Любые предложения?

Answer 1

В вашем запросе есть опечатка - вы пишете идентификатор, а не a.id, чтобы получить доступ к идентификатору поля таблицы a.

Этот код должен работать правильно:

INSERT INTO hive_table SELECT b.id,a.id 
FROM hive_table_1 a,hive_table_2 b 
WHERE a.id BETWEEN b.id1 AND b.id2; 

Я нашел свою ошибку: искра не выбирает улей-site.xml с нуля, Вы должны использовать обходной путь. Возможные обходные пути можно найти there