Почему примеры Spark не искрообразовываются на EC2 с помощью скриптов spark-ec2?

Я скачал искру-1.5.2 и установил кластер на ec2, используя spark-ec2 doc here.Почему примеры Spark не искрообразовываются на EC2 с помощью скриптов spark-ec2?

После этого я отправился в examples/ и запустил mvn package и упаковал примеры в банку.

В конце концов я бегу Подавать с:

bin/spark-submit --class org.apache.spark.examples.JavaTC --master spark://url_here.eu-west-1.compute.amazonaws.com:7077 --deploy-mode cluster /home/aki/Projects/spark-1.5.2/examples/target/spark-examples_2.10-1.5.2.jar

Вместо того, чтобы он работает, я получаю ошибку:

WARN RestSubmissionClient: Unable to connect to server spark://url_here.eu-west-1.compute.amazonaws.com:7077. 
Warning: Master endpoint spark://url_here.eu-west-1.compute.amazonaws.com:7077 was not a REST server. Falling back to legacy submission gateway instead. 
15/12/22 17:36:07 WARN Utils: Your hostname, aki-linux resolves to a loopback address: 127.0.1.1; using 192.168.10.63 instead (on interface wlp4s0) 
15/12/22 17:36:07 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address 
15/12/22 17:36:07 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Exception in thread "main" org.apache.spark.rpc.RpcTimeoutException: Futures timed out after [120 seconds]. This timeout is controlled by spark.rpc.lookupTimeout 
    at org.apache.spark.rpc.RpcTimeout.org$apache$spark$rpc$RpcTimeout$$createRpcTimeoutException(RpcEnv.scala:214) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcEnv.scala:229) 
    at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcEnv.scala:225) 
    at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:33) 
    at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcEnv.scala:242) 
    at org.apache.spark.rpc.RpcEnv.setupEndpointRefByURI(RpcEnv.scala:98) 
    at org.apache.spark.rpc.RpcEnv.setupEndpointRef(RpcEnv.scala:116) 
    at org.apache.spark.deploy.Client$$anonfun$7.apply(Client.scala:233) 
    at org.apache.spark.deploy.Client$$anonfun$7.apply(Client.scala:233) 
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244) 
    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244) 
    at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) 
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108) 
    at scala.collection.TraversableLike$class.map(TraversableLike.scala:244) 
    at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:108) 
    at org.apache.spark.deploy.Client$.main(Client.scala:233) 
    at org.apache.spark.deploy.Client.main(Client.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:497) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:674) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
Caused by: java.util.concurrent.TimeoutException: Futures timed out after [120 seconds] 
    at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219) 
    at scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223) 
    at scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107) 
    at scala.concurrent.BlockContext$DefaultBlockContext$.blockOn(BlockContext.scala:53) 
    at scala.concurrent.Await$.result(package.scala:107) 
    at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcEnv.scala:241) 
    ... 21 more

источник

2015-12-22 Aki K

Можете ли вы получить доступ к http://url_here.eu-west-1.compute.amazonaws.com:8080? Можете ли вы «telnet url_here.eu-west-1.compute.amazonaws.com 7077'? Можете ли вы включить скриншот страницы приветствия автономного мастера? Что в журналах мастера? –

@JacekLaskowski В конце концов я сдался и скопировал его в хранилище и запустил его в клиенте режима по умолчанию. –

Вы все еще можете воссоздать проблему? Я хотел бы иметь решение для этого не обходное решение. –

Вы уверены, что URL для мастера содержит «URL-здесь» ?

искра: //url_here.eu-west-1.compute.amazonaws.com: 7077

Или, может быть, вы пытаетесь запутать его на этот пост.

Если вы можете подключить искровой UI на http://url_here.eu-west-1.compute.amazonaws.com:4040 или в зависимости от вашей свечи версии http://url_here.eu-west-1.compute.amazonaws.com:8080, убедитесь, что вы используете переменную URL замеченные на Спарк UI для вашей искры: // ...: 7070 аргумент командной строки

источник

2015-12-23 03:02:05

Это, безусловно, тот же URL-адрес, который скопирован из пользовательского интерфейса Spark, я запутываю этот пост. –

Почему примеры Spark не искрообразовываются на EC2 с помощью скриптов spark-ec2?

ответ

Смежные вопросы