Планировщик для выполнения заданий Apache Spark SQL на Bluemix

Question

Я использую Apache Spark в Bluemix. Я хочу реализовать планировщик для sparksql-заданий. Я видел этот link в блоге, в котором описывается планирование. Но неясно, как обновить манифест. Возможно, есть другой способ запланировать мои работы.

Answer 1

Файл манифеста предназначен для развертывания приложений облачных литейных (cf) приложений. Так что в вашем случае звучит так, будто вы хотите развернуть свое приложение cf, которое работает как планировщик SparkSQL, и использовать файл манифеста, чтобы заявить, что ваше приложение не нуждается в каком-либо материале маршрутизации веб-приложений или что-либо еще для приложений, ориентированных на пользователя , потому что вы просто хотите запустить фоновый планировщик. Это все хорошо и хорошо, и cf docs поможет вам сделать это.

Однако вы не можете запустить планировщик SparkSQL для службы Bluemix Spark сегодня, потому что он поддерживает только ноутбуки Jupyter через раздел Data-Analytics Bluemix; то есть только пользовательский интерфейс ноутбука. Вам нужен Spark API, который вы могли бы использовать из вашего приложения cf scheduler; например spark-submit type, где вы можете создать свой контекст Spark, а затем запустить программы, например SparkSQL. Предполагается, что этот API будет работать с Apache Spark Bluemix.

ОБНОВЛЕНИЕ: spark-submit был выпущен примерно в конце 1Q16. Это сценарий оболочки, но внутри он делает вызовы REST через curl. REST API пока не поддерживается, но вы можете вызвать скрипт в своем планировщике или рискуете напрямую обратиться к API REST и надеяться, что он не изменит и не сломает вас.