Мониторинг использования памяти искровых заданий

Question

Как мы можем получить общую память, используемую для искровой работы. Я не могу получить точный параметр, к которому мы можем обратиться, чтобы получить то же самое. Относились к Spark UI, но не уверены в области, которую мы можем отнести. Кроме того, в ганглиях мы имеем следующие варианты: а) Memory Buffer б) Кэш-память с) Свободной памятью d) Shared Memory е) Свободное пространство подкачки

не в состоянии получить любой вариант, связанный с памятью Используется. Есть ли у кого-нибудь идеи относительно этого.

Answer 1

Если вы сохраняете свои RDD, вы можете видеть, насколько они велики в памяти через пользовательский интерфейс.

Трудно понять, сколько памяти используется для промежуточных задач (например, для перетасовки). В основном Spark будет использовать столько памяти, сколько ему нужно, учитывая то, что доступно. Это означает, что если ваши RDD занимают более 50% ваших доступных ресурсов, ваше приложение может замедлить работу, поскольку для выполнения ресурсов будет доступно меньше ресурсов.