Выполнение заданий с помощью сервера заданий Spark

Question

У меня есть 3 узла кластера с узлами HA для Namenode и ResourceManager. Я также установил Spark Job Server в одном из машин NameNode.

Я протестировал рабочие примеры тестового сервера, такие как WordCount Example и LongPi Job, и он отлично работает без проблем. Я также могу выпустить команду curl с удаленного хоста для чтения результата через Spark Job Server.

Но, когда я загрузить "СПАРК-примеры-1.6.0-hadoop2.6.0.jar" в искровые рабочих местах сервера/банки и пытался запустить SparkPi работу он терпит неудачу,

[hduser@ptfhadoop02v lib]$ curl -d "" 'ptfhadoop01v:8090/jobs?appName=SparkPi&classPath=org.apache.spark.examples.SparkPi' 
{ 
    "status": "ERROR", 
    "result": { 
    "message": "Ask timed out on [Actor[akka://JobServer/user/context-supervisor/ece2be39-org.apache.spark.examples.SparkPi#-630965857]] after [10000 ms]", 
    "errorClass": "akka.pattern.AskTimeoutException", 
    "stack":["akka.pattern.PromiseActorRef$$anonfun$1.apply$mcV$sp(AskSupport.scala:334)", "akka.actor.Scheduler$$anon$7.run(Scheduler.scala:117)", "scala.concurrent.Future$InternalCallbackExecutor$.scala$concurrent$Future$InternalCallbackExecutor$$unbatchedExecute(Future.scala:694)", "scala.concurrent.Future$InternalCallbackExecutor$.execute(Future.scala:691)", "akka.actor.LightArrayRevolverScheduler$TaskHolder.executeTask(Scheduler.scala:467)", "akka.actor.LightArrayRevolverScheduler$$anon$8.executeBucket$1(Scheduler.scala:419)", "akka.actor.LightArrayRevolverScheduler$$anon$8.nextTick(Scheduler.scala:423)", "akka.actor.LightArrayRevolverScheduler$$anon$8.run(Scheduler.scala:375)", "java.lang.Thread.run(Thread.java:745)"] 
    } 

Я также попытался вручную разместить SparkPi.scala job in/usr/local/hadoop/spark-jobserver/job-server-tests/src/spark.jobserver и построить пакет с использованием SBT, но он выдает ту же ошибку.

Информация о версии

[hduser@ptfhadoop01v spark.jobserver]$ sbt sbtVersion 
[info] Set current project to spark-jobserver (in build file:/usr/local/hadoop/spark-jobserver/job-server-tests/src/spark.jobserver/) 
[info] 0.13.11 

Spark Version - spark-1.6.0 
Scala Version - 2.10.4 

Любое предложение о том, как избавиться от этой ошибки и получить выход из искровых примеров банки файла

Answer 1

package spark.jobserver 

import com.typesafe.config.{Config, ConfigFactory} 
import org.apache.spark._ 
import org.apache.spark.SparkContext._ 
import scala.math.random 

/** Computes an approximation to pi */ 
object SparkPi extends SparkJob { 
    def main(args: Array[String]) { 
    val conf = new SparkConf().setMaster("local[4]").setAppName("SparkPi") 
    val sc = new SparkContext(conf) 
    val config = ConfigFactory.parseString("") 
    val results = runJob(sc, config) 
    println("Pi is roughly " + results) 
} 

    override def validate(sc: SparkContext, config: Config):SparkJobValidation = { 
SparkJobValid 
    } 

    override def runJob(sc: SparkContext, config: Config): Any = { 
    val slices = if (args.length > 0) args(0).toInt else 2 
    val n = math.min(100000L * slices, Int.MaxValue).toInt 
    val count = sc.parallelize(1 until n, slices).map { i => 
    val x = random * 2 - 1 
    val y = random * 2 - 1 
    if (x*x + y*y < 1) 1 else 0 
    }.reduce(_ + _) 

(4.0 * count/n) 
    } 

} 

мне удалось заставить его работать на изменение кода для расширения SparkJob Спасибо за разъяснение