Доступ к данным сервера sql в SparkCLR

Question

Как данные могут быть получены с SQL Server в SparkCLR?

Answer 1

Моя рекомендация - использовать JDBC для подключения к серверу sql, а затем выполнить запрос к Dataframe.

Answer 2

Вы можете использовать следующий код SparkCLR в качестве ссылки на использование C# для загрузки Spark DataFrame из данных SQL Server, базы данных Azure SQL или любого другого источника данных, совместимого с JDBC.

 //C# sample to load SQL Server data as Spark DataFrame using JDBC 
     var sparkConf = new SparkConf(); 
     var sparkContext = new SparkContext(sparkConf); 
     var sqlContext = new SqlContext(sparkContext); 
     var dataFrame = sqlContext.Read() 
      .Jdbc("jdbc:sqlserver://localhost:1433;databaseName=Temp;;integratedSecurity=true;", "xyz", 
       new Dictionary<string, string>()); 
     dataFrame.ShowSchema(); 
     var rowCount = dataFrame.Count(); 
     Console.WriteLine("Row count is " + rowCount); 

Мало что отметить:

• Этот пример кода использует драйвер Microsoft JDBC. Если вы используете другой драйвер или JDBC DataSource вам необходимо обновить URL-адрес
• Вам необходимо включить файл драйвер баночки при подаче SparkCLR работы

SparkCLR проект для этого образца доступна @https://github.com/Microsoft/SparkCLR/tree/master/examples/JdbcDataFrame