2015-07-12 5 views
6

Возможно ли изменить значение памяти исполнителя во время выполнения в Spark? Причина, по которой я хочу это сделать, заключается в том, что для некоторых задач карты я хочу, чтобы планировщик пряжи помещал каждую задачу на отдельный узел. Увеличивая память исполнителей примерно до полной памяти узла, я гарантирую, что они распределены на каждом узле. Позже я хочу выполнить несколько задач на узел, поэтому я бы опустил для них память исполнителей.Могу ли я изменить память исполнителя Spark во время выполнения?

ответ

5

Нет, вы не можете.

Каждый исполнитель запускается на своем собственном JVM, и вы не можете изменять JVM-память во время выполнения. См. Ссылку для справки: Setting JVM heap size at runtime

Смежные вопросы