Я установил spark.executor.memory на 2048m, а на странице «Окружающая среда» пользовательского интерфейса я вижу, что это значение установлено правильно. Но на странице «Исполнители» я видел, что есть только 1 исполнитель, и его память 265.4MB. Очень странная ценность. почему не 256 МБ, или как то, что я установил?Как установить память исполнителя Spark?
Что мне здесь не хватает?
Вкладка «Исполнители» в пользовательском интерфейсе также включает в себя драйвер в списке. Его «идентификатор исполнителя» указан как <driver>. Этот процесс не запускается Spark, поэтому он не зависит от spark.executor.memory.
spark-submit, его максимальная память может управляться spark.driver.memory или --driver-memory-Xmx Java флаг.Хороший ответ. Хотя, вы уверены, что процесс запуска не запускается Spark? Если нет, кто или что начинает его? –
Драйвер - ваше приложение. Вы можете запустить его с помощью простой команды 'java'. Spark предоставляет инструмент «spark-submit», который также можно использовать для запуска вашего приложения. –
Вот что я подумал. Поскольку я обычно использую 'spark-submit' для запуска * Spark * заданий, ваше утверждение застало меня врасплох. Спасибо за акклиматизацию. –
Пожалуйста, смотрите следующий вопрос для размера памяти 265.4MB ...
Какой планировщик вы используете? Автономный, Мезос, или ЯРН? Можете ли вы опубликовать свой сценарий отправки и переменные искры, установленные вами? –
Похоже, вы работаете в автономном режиме. Проверьте ответ @devrimbaris. –