Bluemix Spark Service

Question

Во-первых, я должен признать, что я новичок в Bluemix и Spark. Я просто хочу попробовать свои силы с помощью службы Bluemix Spark.

Я хочу выполнить пакетную операцию над, скажем, миллиардом записей в текстовом файле, тогда я хочу обработать эти записи с помощью собственного набора Java-API.

Здесь я хочу использовать сервис Spark для более быстрой обработки набора данных.

Вот мои вопросы:

1. Могу ли я позвонить Java код из Python? Насколько я понимаю, в настоящее время поддерживается только шаблон Python? Есть несколько частей JNI, а также под Java API.

2. Могу ли я выполнять пакетную операцию с помощью службы Bluemix Spark или это только для интерактивных целей?

3. Могу ли я создать что-то вроде конвейера (выход одного этапа переходит к другому) с Bluemix, мне нужно его кодировать?

Буду признателен за любую помощь, оказанную моим способом в отношении вышеуказанных запросов.

Посмотрите на совет экспертов здесь.

Спасибо.

Answer 1

Доступ к сервисам IBM Analytics для Apache Spark теперь доступен, и он позволяет отправлять java-код/​​пакетную программу с помощью spark-submit вместе с интерфейсом для ноутбука как для python/scala.

Раньше бета-код был ограничен интерактивным интерфейсом ноутбука.

С уважением Anup