InvalidResourceRequestException пряжи Исключение во время работы Спарк в режиме кластера с пряжей в Hadoop 2,4

Question

Использование Apache spark 1.1.0 с hadoop 2.4

Также мой cluster is on CDH 5.1.3

Я попытался с ниже команды, чтобы начать spark with yarn.

./spark-shell --master yarn 
./spark-shell --master yarn-client 

я получил следующее исключение:

14/10/15 21:33:32 INFO cluster.YarnClientSchedulerBackend: Application отчет ASM: appMasterRpcPort: 0 appStartTime: 1413388999108 yarnAppState : RUNNING

14/10/15 21:33:44 ERROR cluster.YarnClientSchedulerBackend: Пряжа приложение уже окончено: FAILED

====== Исключение диспетчера узлов ========================================= =======

Вызванный: org.apache.hadoop.ipc.RemoteException (org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException): запроса Invalid ресурсов, просьба памяти < 0, или по просьбе память> макс сконфигурирован, requestedMemory = 1408, = 1024 maxMemory на org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerUtils.validateResourceRequest (SchedulerUtils.java:228) на org.apache.hadoop.yarn. server.resourcemanager.RMServerUtils.validateResourceRequests (RMServerUtils.java:80) в org.apache.hadoop.yarn.server.resourcemanager.ApplicationMasterService.allocate (ApplicationMasterService.java:444) на org.apache.hadoop.yarn.api.impl.pb.service.ApplicationMasterProtocolPBServiceImpl.allocate (ApplicationMasterProtocolPBServiceImpl. Java: 60) на org.apache.hadoop.yarn.proto.ApplicationMasterProtocol $ ApplicationMasterProtocolService $ 2.callBlockingMethod (ApplicationMasterProtocol.java:99) на org.apache.hadoop.ipc.ProtobufRpcEngine $ Сервер $ ProtoBufRpcInvoker.call (ProtobufRpcEngine .java: 585) at org.apache.hadoop.ipc.RPC $ Server.call (RPC.java:1026) в org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:1986) на org.apache.hadoop.ipc.Server $ H andler $ 1.run (Server.java:1982) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:396) в org.apache.hadoop. security.UserGroupInformation.doAs (UserGroupInformation.java:1554) в org.apache.hadoop.ipc.Server $ Handler.run (Server.java:1980)

в org.apache.hadoop.ipc.Client.call (Client.java:1410) в org.apache.hadoop.ipc.Client.call (Client.java:1363) в org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke (ProtobufRpcEngine.java:206) в $ Proxy11.allocate (Неизвестный источник) в org.apache.hadoop.yarn.api.impl.pb.client.ApplicationMasterProtocolPBClientImpl.allocat е (ApplicationMasterProtocolPBClientImpl.java:77) ... 20 более

Answer 1

Согласно вашей конфигурации ПРЯЖИ, максимальный объем памяти, приложение может запросить для контейнера 1024MB.Но искровой клиент запрашивает контейнер с 1408 МБ. Или измените конфигурационный файл для искры, чтобы запросить меньше ОЗУ или увеличить максимальную память в YARN.