java.lang.OutOfMemoryError: Java куча пространства в Apache Spark

Question

Я попытался выполнить алгоритм (быстрое преобразование Фурье, БПФ) в Spark. (. Хотя это очень маленькое)

Когда данные через 64m, консоль выводится сообщение:

java.lang.OutOfMemoryError: java heap space. 

я использую 32-разрядную систему Ubuntu и Искробезопасную 1.6.0. И я использую Scala IDE, eclipse.

Я использую локальный режим и автономный режим. Когда данные меньше 32 м, он работает хорошо, но когда данные больше 64 м, он не может работать.

Я попытался установить настройки JVM на -Xms1000m и -Xmx4000m. Я также попытался добавить .set("spark.exetutor.memory", "8g") при создании SparkConf в коде. Но оба они не работают.

Как это исправить?

Answer 1

, если вы работаете с spark.master = local, тогда соответствующее значение для настройки составляет spark.driver.memory. Обратите внимание, что этот параметр необходимо установить до запуска JVM (то есть драйвера) в локальном режиме, поэтому модификация существующего SparkContext не поможет, поскольку JVM уже запущена.