Как использовать CROSS JOIN и CROSS APPLY в Spark SQL

Question

Я очень новичок в Spark и Scala, я пишу Spark SQL-код. Я в ситуации, чтобы применить CROSS JOIN и CROSS APPLY в моей логике. Здесь я отправлю SQL-запрос, который мне нужно преобразовать в искру SQL.

select Table1.Column1,Table2.Column2,Table3.Column3 
from Table1 CROSS JOIN Table2 CROSS APPLY Table3 

Мне нужен приведенный выше запрос для преобразования в SQLContext в Spark SQL. Пожалуйста, помогите мне. Заранее спасибо.

Answer 1

Сначала установите ниже свойства в свече конф

spark.sql.crossJoin.enabled=true 

тогда dataFrame1.join(dataFrame2) будет делать Cross/декартовой присоединиться,

мы можем использовать ниже запрос также делать то же

sqlContext.sql("select * from table1 CROSS JOIN table2 CROSS JOIN table3...")