Преобразование Java ResultSet в Spark DataFrame

Question

Я использую панды для управления данными в Python.

Я прошел через DataFrame Spark и хотел использовать эту структуру для программы, которую я разрабатываю на Java.

У меня есть данные на SQL Server, у меня есть результаты SQL в ResultSet. Я хочу преобразовать это в DataFrame

Как это сделать? Есть ли более простой способ преобразования результата SQL непосредственно в DataFrame?

---

EDIT: Я пытался подключить SQL Server ниже детали

public static SparkSession spark = SparkSession 
     .builder() 
      .master("local[*]") 
     .appName("Java Spark SQL basic example") 
     .getOrCreate(); 

    Map<String, String> options = new HashMap<String, String>(); 
    options.put("url", "jdbc:jtds:sqlserver://<clipped>"); 
    spark.read().format("jdbc").options(options).load(); 

    Dataset<Row> sqlDF = spark.sql("SELECT TOP 1 * FROM HEDE); 

через SparkSession Теперь я получаю Exception in thread "main" java.lang.RuntimeException: Option 'dbtable' not specified Как/где я могу указать таблицу?

Answer 1

Вы можете указать таблицу в вариантах:

options.put("dbtable", "some_table"); 

или с использованием метода JDBC:

spark.read().jdbc("jdbc:jtds:sqlserver://<clipped>", "some_table", properties) 

где properties является java.util.Properties.