Характеристики Bluemix Apache Spark

Я искал способ отслеживания производительности в Spark на Bluemix. Я знаю, что в проекте Apache Spark они предоставляют услугу метрики, основанную на Coda Hale Metrics Library. Это позволяет пользователям сообщать показатели Spark различным приемникам, включая файлы HTTP, JMX и CSV. Подробности здесь: http://spark.apache.org/docs/latest/monitoring.html Характеристики Bluemix Apache Spark

Кто-нибудь знает, как это сделать в службе Bluemix Spark? В идеале я хотел бы сохранить метрики в файле csv в хранилище объектов.

Оцените справку.

Благодаря

Saul

источник

2016-04-19 S. Gill

В настоящее время я не вижу вариант для использования «Coda Hale Метрики Library» и отчетов об истории задания или получить доступ к информации через REST API.

Однако на главной странице сервера истории Spark вы можете найти каталог событий . Это относится к вашему следующему каталогу пользователей: file:/gpfs / fs01/user/USER_ID/events/

Там я видел файлы в формате JSON (как).

источник

2016-04-20 13:00:31

Да, я видел некоторые вещи на сервере истории Spark. Могу ли я получить доступ к данным JSON через мой браузер? –

Файлы JSON должны отражать те же данные, которые вы можете получить через ссылку сервера истории Spark на боковой панели. Под «... через мой браузер» вы подразумеваете загрузку? –

Я понимаю, что для доступа к данным через браузер или через curl или другие методы, должен быть rest-api, которого нет. В каталоге журнала событий установлено значение/gpfs / fs01/user/USER- ID/события. Если это похоже на искру с открытым исходным кодом, это означает, что в этом каталоге есть журнал событий. Я имею в виду, могу ли я получить доступ к этому журналу? –

Характеристики Bluemix Apache Spark

ответ

Смежные вопросы