добавление разъема искры cassandra в качестве зависимости приводит к сбою моей работы

Question

Я пытаюсь запустить простую пробную искру. Когда я добавляю коннектор искры-кассандра (либо v. 1.2.0, либо v. 1.2.1), работа завершается с ошибкой.

Вот мой файл сборки:

name := "spark test" 

version := "1.0" 

scalaVersion := "2.10.4" 

resolvers += "Typesafe Repo" at "http://repo.typesafe.com/typesafe/releases" 

libraryDependencies ++= Seq(
       "org.apache.spark" %% "spark-core" % "1.2.1", 
       "com.datastax.spark" %% "spark-cassandra-connector" % "1.2.1") 

А вот исходный код:

package com.xxx.test 

import com.datastax.spark.connector._ 
import org.apache.spark.{SparkConf, SparkContext} 



object Test { 

    def main(args: Array[String]) { 

      val conf = new SparkConf() 
       .set("spark.executor.home", "/home/ubuntu/spark-1.2.1-bin-hadoop2.4") 
       .setMaster("local[*]") 
//     .setMaster("spark://10.14.56.139:7077") 
       .setAppName("Test") 


      val sc = new SparkContext(conf) 

      val numbers = sc.parallelize(1 to 100) 
      numbers.map(_.toDouble).count 

    } 

} 

Как вы можете видеть, что я на самом деле не с помощью разъема. Я хочу сделать это, хотя, но когда я это сделал, это ошибка, и я пытаюсь изолировать ее, чтобы увидеть, откуда она. Теперь, когда я меняю версию соединителя на 1.2.1, возникает одна и та же ошибка (см. Ниже), а не когда я использую 1.2.0-rc3 или когда я полностью удаляю зависимость (и импорт). Поскольку страница github коннектора предлагает использовать 1.2.1, я хотел бы это сделать. А вот ошибка, что я получаю:

15/05/20 09:41:47 ERROR Executor: Exception in task 1.0 in stage 0.0 (TID 1) 
java.io.IOException: java.lang.ClassNotFoundException: scala.collection.immutable.Range 
    at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1078) 

Когда я бегу это на кластере (setMaster («искра: //10.14.56.139: 7077»)) Я получаю другую ошибку , но все-таки роковой:

15/05/20 10:18:55 ERROR TaskResultGetter: Exception while getting task result 
java.io.IOException: java.lang.ClassNotFoundException: scala.None$ 
    at org.apache.spark.util.Utils$.tryOrIOException(Utils.scala:1078) 

Я хотел бы использовать рекомендованные версии 1.2.1 в нашей производственной среде, так что если вы можете, пожалуйста, помогите мне понять, что происходит, это было бы здорово.

Я использую SBT ст. 0.13.8 и убунту 14,04

Answer 1

На первый взгляд, кажется, что ваша баночка не имеет некоторые библиотеки ядра SCALA в нем. Я бы рекомендовал создать сборную банку (и вы можете отметить искровой стержень, как предусмотрено, отправив с помощью сценария «исправить-отправить» существующему кластеру).