Я создал кластер Spark из 8 машин. Каждая машина имеет 104 ГБ ОЗУ и 16 виртуальных ядер.Apache Spark не видит всех баран моих машин
Кажется, что Spark видит только 42 ГБ ОЗУ на машину, что неверно. Вы знаете, почему Spark не видит всю оперативную память машин?
PS: Я использую Apache Спарк 1,2
Похоже на распространенное заблуждение. То, что отображается, это spark.storage.memoryFraction: https://stackoverflow.com/a/28363743/4278362
Спарк не делает попытки угадать доступную память. Исполнители используют столько памяти, сколько вы указываете, с настройкой spark.executor.memory. Похоже, он установлен на 42 ГБ.
Значение параметра spark.executor.memory было установлено равным 83971m. – poiuytrez
Почему у меня есть 3 downvotes? Я что-то упускаю? – poiuytrez