выходной файл не сохранен на моем ковше, в AWS s3

Я стараюсь следовать этому руководству AWS. Я нахожусь на примере быстрого примера. https://aws.amazon.com/blogs/big-data/submitting-user-applications-with-spark-submit/выходной файл не сохранен на моем ковше, в AWS s3

При попытке выполнить команду:

aws emr add-steps --cluster-id j-xxxxx --steps Type=spark,Name=SparkWordCountApp,Args=[--deploy-mode,cluster,--master,yarn,--conf,spark.yarn.submit.waitAppCompletion=false,--num-executors,5,--executor-cores,5,--executor-memory,20g,s3://codelocation/wordcount.py,s3://inputbucket/input.txt,s3://outputbucket/],ActionOnFailure=CONTINUE

мой выходной файл не появляется на моем ведре, даже если на ОМ, это говорит о том, что работа завершена.

SparkWordCountApp Completed 2017-01-24 16:35 (UTC+1) 10 seconds

Это WordCount питон файл:

from __future__ import print_function 
from pyspark import SparkContext 
import sys 
if __name__ == "__main__": 
    if len(sys.argv) != 3: 
     print("Usage: wordcount ", file=sys.stderr) 
     exit(-1) 
    sc = SparkContext(appName="WordCount") 
    text_file = sc.textFile(sys.argv[1]) 
    counts = text_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b) 
    counts.saveAsTextFile(sys.argv[2]) 
    sc.stop()

Это лог-файл из кластера:

17/01/25 14:40:19 INFO Client: Requesting a new application from cluster with 2 NodeManagers 
17/01/25 14:40:19 INFO Client: Verifying our application has not requested more than the maximum memory capability of the cluster (11520 MB per container) 
Exception in thread "main" java.lang.IllegalArgumentException: Required executor memory (20480+2048 MB) is above the max threshold (11520 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'. 
    at org.apache.spark.deploy.yarn.Client.verifyClusterResources(Client.scala:304) 
    at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:164) 
    at org.apache.spark.deploy.yarn.Client.run(Client.scala:1119) 
    at org.apache.spark.deploy.yarn.Client$.main(Client.scala:1178) 
    at org.apache.spark.deploy.yarn.Client.main(Client.scala) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:736) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 
Command exiting with ret '1'

Я использую m3.x большой экземпляр.

источник

2017-01-24 Ray.R.Chua

Каково значение, установленное для 'spark.executor.memory'? – franklinsijo

Из командной строки это 20g. –

Да, вы уже упоминали об этом, я пропустил это. У экземпляра m3.xlarge всего 15 г, но запросы исполнителя 20g + 2g, кроме того, конфигурация пряжи допускает максимум 11,5 г. Можете ли вы уменьшить его до 8 г и попробовать запустить его? – franklinsijo

попробуйте сделать выходной каталог подкаталогом, а не корневым. Не говоря о клиенте EM3 s3, я знаю, что в прошлом Hadoop S3A имел некоторые проблемы, связанные с переименованием(), когда местом назначения был корень ведра. В противном случае сверните журналы и посмотрите, что напечатано из модулей com.aws.

источник

2017-01-24 16:34:24

Я добавил файл журнала на свой вопрос. –

выходной файл не сохранен на моем ковше, в AWS s3

ответ

Смежные вопросы