Spark (shell), Кассандра: Привет, мир?

Question

Как получить базовый Привет, мир! пример работает в Spark с Cassandra? До сих пор мы нашли этот полезный ответ:

How to load Spark Cassandra Connector in the shell?

Который работает отлично!

Затем мы пытаемся следовать документации и началу работы, например:

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/1_connecting.md

Он говорит, чтобы сделать это:

import com.datastax.spark.connector.cql.CassandraConnector 

CassandraConnector(conf).withSessionDo { session => 
    session.execute("CREATE KEYSPACE test2 WITH REPLICATION = {'class': 'SimpleStrategy', 'replication_factor': 1 }") 
    session.execute("CREATE TABLE test2.words (word text PRIMARY KEY, count int)") 
} 

Но это говорит, что мы не имеем com.datastax.spark.connector.cql? Btw, мы получили разъем искрой здесь:

Maven Central Repository (spark-cassandra-connector-java_2.11)

Так как же добраться до точки, где вы можете создать пространство ключей, таблицы и вставки строк после того, как у вас есть искра и Cassandra работает на местном уровне?

Answer 1

В jar, который вы загрузили, есть только Java api, поэтому он не будет работать с Scala Spark Shell. Я рекомендую вам следовать инструкциям на странице коннектора Spark Cassandra.

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/13_spark_shell.md

Эти инструкции будут вам построить полную сборку баночку со всеми зависимостями и добавить его к свече Shell, используя --jars путь к классам.