Как выполнить соединение с MySQL (JDBC) с помощью Spark?

Question

Я хотел бы прочитать данные из MySQL через Spark. API, который я видел, способен считывать данные из конкретной таблицы. что-то подобное,

val prop = new java.util.Properties 
prop.setProperty("user", "<username>") 
prop.setProperty("password", "<password>") 

sparkSession.read.jdbc("jdbc:mysql://????:3306/???", "some-table", prop) 

Теперь я хотел бы выполнить запрос для объединения таблиц. Кто-нибудь знает, как это сделать (на стороне базы данных, а не на Spark SQL)?

Спасибо,

Эран

Answer 1

Вы должны будете использовать «таблицы» аргумент запроса:

val table = "(SELECT foo JOIN bar ON foo.id = bar.id) as t" 

spark.read.jdbc("jdbc:mysql://????:3306/???", table, prop) 

Вы должны отметить, что предоставление псевдоним запроса является важным или это не сработает.