Spark - SQL: значение implicits не является членом org.apache.spark.sql.SQLContext

Question

Привет пожалуйста, найти ниже код и соответствующие ошибки: Даже если я использовал операторы импорта, но по-прежнему давая ошибки

import org.apache.spark.sql._ 

val sparkConf = new SparkConf().setAppName("new_proj") 
implicit val sc = new SparkContext(sparkConf) 

val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
import sqlContext._ 
import sqlContext.implicits._ 

val projects = sqlContext.read.json("/part-m-00000.json") 

[ошибка] /mapr/trans.scala:25: значение implicits не является членом org.apache.spark.sql.SQLContext [error] import sqlContext.implicits._ [ошибка]^ [error]/mapr /ppm_trans.scala:28: значение read не является членом org.apache.spark.sql.SQLContext [error] val projects = sqlContext.read.json ("/ mapr // part-m-00000.json")

Answer 1

Я могу компилировать код, изменив следующие строки в build.sbt:

libraryDependencies ++= Seq(
    "org.apache.spark" % "spark-core_2.10"    % "1.4.0" % "provided", 
    "org.apache.spark" % "spark-sql_2.10"    % "1.4.0", 
    "org.apache.spark" % "spark-sql_2.10"    % "1.4.0", 
    "org.apache.spark" % "spark-mllib_2.10"    % "1.4.0" 
)