Hadoop ошибка при использовании искры подать

Я пытаюсь искровым отправить с помощью Amazon EC2 со следующим:Hadoop ошибка при использовании искры подать

spark-submit --packages org.apache.hadoop:hadoop-aws:2.7.1 --master spark://amazonaws.com SimpleApp.py

и я в конечном итоге со следующей ошибкой. Кажется, что он ищет хауопа. Мой кластер ec2 был создан с использованием команды spark-ec2.

Ivy Default Cache set to: /home/adas/.ivy2/cache 
The jars for the packages stored in: /home/adas/.ivy2/jars 
:: loading settings :: url = jar:file:/home/adas/spark/spark-2.1.0-bin-hadoop2.7/jars/ivy-2.4.0.jar!/org/apache/ivy/core/settings/ivysettings.xml 
org.apache.hadoop#hadoop-aws added as a dependency 
:: resolving dependencies :: org.apache.spark#spark-submit-parent;1.0 
    confs: [default] 
:: resolution report :: resolve 66439ms :: artifacts dl 0ms 
    :: modules in use: 
    --------------------------------------------------------------------- 
    |     |   modules   || artifacts | 
    |  conf  | number| search|dwnlded|evicted|| number|dwnlded| 
    --------------------------------------------------------------------- 
    |  default  | 1 | 0 | 0 | 0 || 0 | 0 | 
    --------------------------------------------------------------------- 

:: problems summary :: 
:::: WARNINGS 
     module not found: org.apache.hadoop#hadoop-aws;2.7.1 

    ==== local-m2-cache: tried 

     file:/home/adas/.m2/repository/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.pom 

     -- artifact org.apache.hadoop#hadoop-aws;2.7.1!hadoop-aws.jar: 

     file:/home/adas/.m2/repository/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.jar 

    ==== local-ivy-cache: tried 

     /home/adas/.ivy2/local/org.apache.hadoop/hadoop-aws/2.7.1/ivys/ivy.xml 

     -- artifact org.apache.hadoop#hadoop-aws;2.7.1!hadoop-aws.jar: 

     /home/adas/.ivy2/local/org.apache.hadoop/hadoop-aws/2.7.1/jars/hadoop-aws.jar 

    ==== central: tried 

     https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.pom 

     -- artifact org.apache.hadoop#hadoop-aws;2.7.1!hadoop-aws.jar: 

     https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.jar 

    ==== spark-packages: tried 

     http://dl.bintray.com/spark-packages/maven/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.pom 

     -- artifact org.apache.hadoop#hadoop-aws;2.7.1!hadoop-aws.jar: 

     http://dl.bintray.com/spark-packages/maven/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.jar 

     :::::::::::::::::::::::::::::::::::::::::::::: 

     ::   UNRESOLVED DEPENDENCIES   :: 

     :::::::::::::::::::::::::::::::::::::::::::::: 

     :: org.apache.hadoop#hadoop-aws;2.7.1: not found 

     :::::::::::::::::::::::::::::::::::::::::::::: 


:::: ERRORS 
    Server access error at url https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.pom (java.net.NoRouteToHostException: No route to host (Host unreachable)) 

    Server access error at url https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.jar (java.net.NoRouteToHostException: No route to host (Host unreachable)) 

    Server access error at url http://dl.bintray.com/spark-packages/maven/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.pom (java.net.NoRouteToHostException: No route to host (Host unreachable)) 

    Server access error at url http://dl.bintray.com/spark-packages/maven/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.jar (java.net.NoRouteToHostException: No route to host (Host unreachable)) 


:: USE VERBOSE OR DEBUG MESSAGE LEVEL FOR MORE DETAILS 
Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: org.apache.hadoop#hadoop-aws;2.7.1: not found] 
    at org.apache.spark.deploy.SparkSubmitUtils$.resolveMavenCoordinates(SparkSubmit.scala:1078) 
    at org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:296) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:160) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

источник

2017-01-18 Ray.R.Chua

Ваш сервер подключен к Интернету ..? – BruceWayne

@BruceWayne, к сожалению, я не могу позволить своему искровому мастеру иметь доступ к Интернету. Вы знаете, как я могу решить эту проблему? –

Извините, все это были лишь некоторые проблемы с локальным прокси.

источник

2017-01-23 15:28:58

Я худший, вы должны принять вышеупомянутый ответ, поскольку он указывает на ту же самую проблему прокси, а создает новый ответ и принимает ваши собственные ... –

Вы подаете работу с --packages org.apache.hadoop:hadoop-aws:2.7.1 опции и работа пытается решить зависимости от загрузки пакетов из Maven репо общественности. Однако эта ошибка указывает на то, что он не может достичь репозитория maven.

Server access error at url https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aws/2.7.1/hadoop-aws-2.7.1.pom (java.net.NoRouteToHostException: No route to host (Host unreachable))

Возможно, вы захотите проверить, имеет ли источник искры доступ к Интернету.

источник

2017-01-18 17:23:27 research800

К сожалению, я не могу позволить своему искровому мастеру иметь доступ к Интернету. Вы знаете, как я могу решить эту проблему? –

spark-submit принимает еще один параметр '--jars', который принимает местоположение сторонней банки на вашем драйвере. Каждая банка, предоставленная этим вариантом, будет передана работникам. – research800

Hadoop ошибка при использовании искры подать

ответ

Смежные вопросы