Класс org.apache.spark.sql.types.SQLUserDefinedType не найден - продолжается с заглушкой

Question

У меня есть базовая программа mllib для искры следующим образом.

import org.apache.spark.mllib.clustering.KMeans 

import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 
import org.apache.spark.mllib.linalg.Vectors 


class Sample { 
    val conf = new SparkConf().setAppName("helloApp").setMaster("local") 
    val sc = new SparkContext(conf) 
    val data = sc.textFile("data/mllib/kmeans_data.txt") 
    val parsedData = data.map(s => Vectors.dense(s.split(' ').map(_.toDouble))).cache() 

    // Cluster the data into two classes using KMeans 
    val numClusters = 2 
    val numIterations = 20 
    val clusters = KMeans.train(parsedData, numClusters, numIterations) 

    // Export to PMML 
    println("PMML Model:\n" + clusters.toPMML) 
} 

Я вручную добавил spark-core, spark-mllib и spark-sql на пути к классам проекта через IntelliJ все имеющее версии 1.5.0.

Я получаю ошибку ниже при запуске программы? любая идея, что не так?

Error:scalac: error while loading Vector, Missing dependency 'bad symbolic reference. A signature in Vector.class refers to term types in package org.apache.spark.sql which is not available. It may be completely missing from the current classpath, or the version on the classpath might be incompatible with the version used when compiling Vector.class.', required by /home/fazlann/Downloads/spark-mllib_2.10-1.5.0.jar(org/apache/spark/mllib/linalg/Vector.class

Answer 1

DesirePRG. Я встретил ту же проблему, что и ваша. Решение состоит в том, чтобы импортировать некоторую банку, которая собирает искру и хаос, например, spark-assembly-1.4.1-hadoop2.4.0.jar, тогда он может работать правильно.