2015-09-07 5 views
0

Я пытаюсь написать простую оболочку для leftOuterJoin. Я начинаю вверх, как это и встречая странный вопрос,Spark leftOuterJoin issue - leftOuterJoin не является членом org.apache.spark.rdd.RDD [(String, String)]

import org.apache.spark.rdd.RDD 
import org.apache.spark.SparkContext._ 
import org.apache.spark.rdd.PairRDDFunctions 
import scala.reflect.ClassTag 

case class Joins(self: RDD[(String,String)]) { 
     def loj(other: RDD[(String,String)]) = { 
     (self.leftOuterJoin(other)) 
     } 
    } 

error: value leftOuterJoin is not a member of org.apache.spark.rdd.RDD[(String, String)]

Где я буду здесь не так?

ответ

0

Я предполагаю, что это просто ошибка подсветки, так что вы могли бы добавить

import org.apache.spark.rdd.RDD._ 

, кажется, что SparkContext._ поведение изменилось Spark 1.4.x, SparkContext._ не обязательно больше, но он по-прежнему требуется для IDE признать правильные типы.

+0

Я использую искру 1.2.1 и "import org.apache.spark.rdd.RDD._" бросает ошибку "класс RDD существует, но у него нет сопутствующего объекта." – user3279189

Смежные вопросы