Как получить показатели искровой работы?

Question

У нас есть кластер, содержащий около 20 узлов. Этот кластер является общим для многих пользователей и рабочих мест. Поэтому мне очень сложно наблюдать за моей работой, чтобы я мог получить некоторые показатели, такие как использование ЦП, ввод-вывод, сеть, память и т. Д.

Как получить метрику на уровне работы.

PS: У кластера уже установлены Ganglia, но не знаю, как я могу заставить его работать на уровне работы. То, что я хотел бы сделать, - это контролировать ресурс, используемый кластером, для выполнения моей работы.

Answer 1

Вы можете получить метрики искры работы с Спарк историей сервера, на котором отображается информация о:
- список этапов планировщика и задачах
- Резюме RDD размеров и использование памяти
- экологическая информация для
- А информация о бегущих исполнителях

1, Set spark.eventLog.enabled к истинным перед запуском искры приложения. Это настраивает Spark для регистрации событий Spark для сохранения хранилища.
2, комплект spark.history.fs.logDirectory, это каталог, содержащий журналы событий приложений, которые будут загружены сервером истории;
3, Запустите сервер истории, выполнив: ./sbin/start-history-server.sh

пожалуйста, обратитесь к ссылке ниже для получения дополнительной информации:
http://spark.apache.org/docs/latest/monitoring.html