Построение приложения Spark против пути прохождения данных DataStax Enterprise

Question

У меня есть DataStax Enterprise 4.8 с Spark. Я хочу создать приложение Spark, написанное на Scala с помощью Gradle, и запустить его в этом кластере DSE, но я бы хотел избежать любых проблем с classpath во время выполнения.

В настоящее время мои зависимости во времени компиляции (и разрешения конфликтов) автоматически управляются Gradle, которые уже вызвали различные проблемы во время выполнения.

Каков стандартный способ? Я хочу избежать создания жирной банки, которая включает в себя все зависимости.

Answer 1

Я просто использовал библиотеки, предоставленные командой dse spark-classpath. Я хотел бы включить это в файл сборки, как

Для SBT

val sparkClasspathStr = s"$DSE_HOME/bin/dse spark-classpath".!!.trim 
val sparkClasspathArr = sparkClasspathStr.split(':') 

//Find all Jars on dse spark-classpath 
val sparkClasspath = { 
    for (dseJar <- sparkClasspathArr if dseJar.endsWith("jar")) 
    yield Attributed.blank(file(dseJar)) 
}.toSeq 

//Your dependencies 
//libraryDependencies += "com.github.scopt" %% "scopt" % "3.2.0" 

//Add dse jars to classpath 
unmanagedJars in Compile ++= sparkClasspath 
unmanagedJars in Test ++= sparkClasspath 

Gradle

def DSE_HOME = (System.getenv("DSE_HOME") != null) ? System.getenv("DSE_HOME") : System.getenv("HOME")+"dse" 

def sparkClasspathStr = (DSE_HOME + "/bin/dse spark-classpath").execute().text.trim() 
def sparkClasspathJars = sparkClasspathStr.split(":").findAll{ it.endsWith(".jar") } 

dependencies { 
    compile files(sparkClasspathJars) 
}