2015-11-06 2 views
1

Я хочу получить доступ к таблице Cassandra в Spark. Ниже приведены версии, что я используюerror: value cassandraTable не является членом org.apache.spark.SparkContext

  • искры: искры-1.4.1-бен-hadoop2.6
  • Кассандра: апач-Кассандры 2.2.3
  • разъем искры Кассандры: искровой cassandra- разъем-java_2.10-1.5.0-M2.jar

Ниже приведен сценарий:

sc.stop 

import com.datastax.spark.connector._, org.apache.spark.SparkContext, org.apache.spark.SparkContext._, org.apache.spark.SparkConf 
val conf = new SparkConf(true).set("spark.cassandra.connection.host", "localhost") 
val sc = new SparkContext(conf) 
val test_spark_rdd = sc.cassandraTable("test1", "words") 

, когда я бегу последнее утверждение я получаю сообщение об ошибке

:32: error: value cassandraTable is not a member of org.apache.spark.SparkContext val test_spark_rdd = sc.cassandraTable("test1", "words")

подсказки для устранения ошибки были бы полезными.

Thanks

+0

Для версии разъема стартера должна соответствовать версия Spark, поэтому для Spark 1.4 вы должны использовать разъем 1.4. – zero323

+0

Я пробовал с версией spark-cassandra-connector-java_2.10-1.4.0.jar. По-прежнему такая же ошибка – Rengan

+0

Вы уверены, что вы импортируете оператор, не бросая исключение? Если нет, как вы запускаете оболочку? --packages? – RussS

ответ

0

На самом деле на оболочке вам необходимо импортировать соответствующие пакеты. Не нужно ничего делать.

например. scala> import com.datastax.spark.connector._;

Смежные вопросы