Импорт библиотек Spark с использованием Intellij IDEA

Question

Я хотел бы использовать искру SQL в проекте Intellij IDEA SBT.

Несмотря на то, что я импортировал библиотеку, код, похоже, не импортирует его.

Искры, похоже, работают, однако.

Answer 1

Вы не можете создать DataFrame из Скале List[A]. Сначала вам нужно создать RDD[A], а затем преобразовать его в DataFrame. Вы также нуждаетесь в SQLContext:

val conf = new SparkConf() 
    .setMaster("local[*]") 
    .setAppName("test") 

val sc = new SparkContext(conf) 
val sqlContext = new SQLContext(sc) 

import sqlContext.implicits._ 

val test = sc.parallelize(List(1,2,3,4)).toDF 

Answer 2

Для справки это как Спарк 2,0 шаблонный с искровым SQL должен выглядеть следующим образом:

import org.apache.spark.sql.SparkSession 

object Test {  
def main(args: Array[String]) { 

    val spark = SparkSession.builder() 
     .master("local") 
     .appName("some name") 
     .getOrCreate() 

    import spark.sqlContext.implicits._ 

    } 
}