Как уменьшить площадь памяти памяти apache?

Question

У меня есть полный стек Apache/Apache zeppelin, работающий на машине с очень небольшим количеством ресурсов (512 МБ), который падает.

Spark Command: /usr/lib/jvm/java/bin/java -cp /home/ec2-user/spark-1.4.1-bin-hadoop2.6/sbin/../conf/:/home/ec2-user/spark-1.4.1-bin-hadoop2.6/lib/spark-assembly-1.4.1-hadoop2.6.0.jar:/home/ec2-user/spark-1.4.1-bin-hadoop2.6/lib/datanucleus-api-jdo-3.2.6.jar:/home/ec2-user/spark-1.4.1-bin-hadoop2.6/lib/datanucleus-core-3.2.10.jar:/home/ec2-user/spark-1.4.1-bin-hadoop2.6/lib/datanucleus-rdbms-3.2.9.jar -Xms512m -Xmx512m -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip ip-172-31-24-107 --port 7077 --webui-port 8080 
======================================== 
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000daaa0000, 357957632, 0) failed; error='Cannot allocate memory' (errno=12) 
# 
# There is insufficient memory for the Java Runtime Environment to continue. 
# Native memory allocation (malloc) failed to allocate 357957632 bytes for committing reserved memory. 
# An error report file with more information is saved as: 
# /tmp/jvm-17290/hs_error.log 

Я знаю, что это плохая идея, но у меня нет больше нигде, чтобы проверить это, и хотел бы, чтобы иметь возможность изучить некоторый код + апача лестницы искры ...

Есть способ уменьшить объем памяти на искру, чтобы я мог выполнять свои тесты?

благодаря

Answer 1

Apache дирижабль является отличным инструментом, но я видел то же самое, занимает много оперативной памяти. Вы можете использовать команду, например, в исходной папке искры, bin/spark-shell даст вам искровую scala-оболочку, но ее не очень красиво и интуитивно понятно.

Вы можете использовать eclipse (scala IDE) или IntelliJ (имеет плагин scala) для разработки искровой scala, просто нужно добавить банки с maven или sbt.

Вы можете сделать свое прототипирование в оболочке scala и скопировать пасту в среду IDE.

Также проверьте https://github.com/andypetrella/spark-notebook, он берет меньший отпечаток ОЗУ. Искры сами по себе принимают меньше, но zeppelin занимает много места, из того, что я видел.

Также для ноутбука scala: https://github.com/alexarchambault/jupyter-scala, то вы можете добавить искровые банки в env, создать объект sparkContext и использовать его. Надеюсь, что помогает.

Pls, upvote, если это помогает.