Как подключиться к ElasticSearch от Apache Spark Service на Bluemix

Question

Я использую сервис Apache Spark на Bluemix для создания демонстрации (сбора/анализа данных twitter). Я хочу передать Elastic Search.

Я создал SCALA приложения в соответствии с [1] по следующему адресу:

[1] https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html

Однако при использовании Jupyter ноутбука на Bluemix, я не мог запустить мое приложение правильно. Специальная интерпретатор SparkContext «sc» уже запущена, но я не добавляю свойства «sc», такие как «es.nodes», «es.port» и т. Д. Для подключения Elastic Search.

Q1. Кто-нибудь знает, как добавить дополнительные свойства в специальный SparkContext, поддерживающий интерпретатор, на Bluemix? В моей локальной искровой среде ее легко добавить.

Q2. Я попытался создать другой SparkContext следующим образом и использовать для потоковой передачи, но это было неуправляемым на Jupyter ноутбук ..

var conf = sc.getConf 
conf.set("es.index.auto.create", "true") 
conf.set("es.nodes", "XXXXXXXX") 
conf.set("es.port", "9020") 
conf.set("spark.driver.allowMultipleContexts", "true") 
val sc1 = new SparkContext(conf) 

Моя процедура создания дополнительных SparkContext не могут быть правы, я думаю. Кто-нибудь знает, как правильно создать 2-й SparkContext на Bluemix?

Answer 1

Если я не ошибаюсь, вы уже устанавливаете свойства объекта конфигурации в существующем SparkContext.

Эти линии (исправляя то, что я предполагаю, что это опечатка) следует устанавливать режим по конфигурации существующего SparkContext в:

val conf = sc.getConf 
conf.set("es.index.auto.create", "true") 
conf.set("es.nodes", "XXXXXXXX") 
conf.set("es.port", "9020") 
conf.set("spark.driver.allowMultipleContexts", "true") 

Вы упомянули, вы не могли бы добавить эти свойства - вы можете остановиться на проблеме это вызывало это так?