Apache Spark тип несоответствие одного типа (String)

EDIT: Answer: Это был файл JAR, который создал конфликт! Связанный пост: Must include log4J, but it is causing errors in Apache Spark shell. How to avoid errors?Apache Spark тип несоответствие одного типа (String)

Doing следующее:

val numOfProcessors:Int = 2 
val filePath:java.lang.String = "s3n://somefile.csv" 
var rdd:org.apache.spark.rdd.RDD[java.lang.String] = sc.textFile(filePath, numOfProcessors)

error: type mismatch; 
found : org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.RDD[String] 
required: org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.RDD[String] 
     var rdd:org.apache.spark.rdd.RDD[java.lang.String] = sc.textFile(filePath, numOfProcessors)

EDIT: Второй случай

val numOfProcessors = 2 
val filePath = "s3n://somefile.csv" 
var rdd = sc.textFile(filePath, numOfProcessors) //OK! 

def doStuff(rdd: RDD[String]): RDD[String] = {rdd} 

doStuff(rdd)

я получаю:

error: type mismatch; 
found : org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.RDD[String] 
required: org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.RDD[String] 
       doStuff(rdd) 
        ^

Нет комментариев ...

Любые идеи, почему я получаю эту ошибку?

источник

2015-03-31 Display Name

Почему вы используете java.lang.String? Что произойдет, если вы последовательно используете String? –

Я думаю, у вас есть некоторые проблемы с вашим импортом. Эти повторяющиеся пути указывают на то, что что-то не так – maasg

Точно так же, я отредактирую вопрос, чтобы люди не путались –

Проблема была в файле JAR, который создал конфликт.

источник

2015-03-31 15:52:36

Apache Spark тип несоответствие одного типа (String)

ответ

Смежные вопросы