sc.textFile не может разрешить символ на Textfile

Question

Я использую IntelliJ для Скале ниже мой код:

import org.apache.spark.SparkConf 
import org.apache.spark.sql._ 
import org.apache.spark.sql.types._ 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
object XXXX extends App{ 

    val sc = new SparkConf() 
    val DataRDD = sc.textFile("/Users/itru/Desktop/XXXX.bz2").cache() 
} 

мой файл build.sbt содержит ниже:

name := "XXXXX" 
version := "1.0" 
scalaVersion := "2.11.8" 
libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.5.2" %"provided", 
"org.apache.spark" %% "spark-sql" % "1.5.2" % "provided") 

пакеты скачиваются, но все еще я вижу ошибку «не может разрешить символ в textFile». Мне не хватает каких-либо зависимостей в библиотеке.

Answer 1

Вы не инициализировали свой SparkContext.

val sparkConf = new SparkConf() 
val sc = new SparkContext(sparkConf) 

val dataRDD = sc.textFile("/Users/itru/Desktop/XXXX.bz2").cache()