Я хочу получить доступ к таблице Cassandra в Spark. Ниже приведены версии, что я используюerror: value cassandraTable не является членом org.apache.spark.SparkContext
- искры: искры-1.4.1-бен-hadoop2.6
- Кассандра: апач-Кассандры 2.2.3
- разъем искры Кассандры: искровой cassandra- разъем-java_2.10-1.5.0-M2.jar
Ниже приведен сценарий:
sc.stop
import com.datastax.spark.connector._, org.apache.spark.SparkContext, org.apache.spark.SparkContext._, org.apache.spark.SparkConf
val conf = new SparkConf(true).set("spark.cassandra.connection.host", "localhost")
val sc = new SparkContext(conf)
val test_spark_rdd = sc.cassandraTable("test1", "words")
, когда я бегу последнее утверждение я получаю сообщение об ошибке
:32: error: value cassandraTable is not a member of org.apache.spark.SparkContext val test_spark_rdd = sc.cassandraTable("test1", "words")
подсказки для устранения ошибки были бы полезными.
Thanks
Для версии разъема стартера должна соответствовать версия Spark, поэтому для Spark 1.4 вы должны использовать разъем 1.4. – zero323
Я пробовал с версией spark-cassandra-connector-java_2.10-1.4.0.jar. По-прежнему такая же ошибка – Rengan
Вы уверены, что вы импортируете оператор, не бросая исключение? Если нет, как вы запускаете оболочку? --packages? – RussS