Как разработать (локально) и установить топологию шторма (удаленно)?

Question

В настоящее время я работаю с Netbeans на Windows-машине для разработки топологий. Когда я раскрываю в локальном режиме:
LocalCluster cluster = new LocalCluster(); cluster.submitTopology("word-count", conf, builder.createTopology());
все работает нормально, но когда я пытаюсь:
StormSubmitter.submitTopology("word", conf, builder.createTopology());
, очевидно, пытается развернуть топологию в кластерном режиме и не так как я не имею шторм нимб работает на моем локальный компьютер. У меня есть шторм, развернутый на одной камере Digital Ocean, но моим текущим (и не удобным) решением является копирование JAR-файла и использование команды storm jar... для развертывания.
Мой вопрос: есть ли способ сообщить Netbeans, что такое мой nimbus IP-адрес, чтобы он мог развернуть его удаленно? (и сэкономить время)
Спасибо заранее!

Answer 1

Check this link
Теперь я могу разработать топологии в Netbeans, протестировать их локально и в конечном итоге развернуть их на своем Nimbus на кластере. Это решение отлично работает для меня !!!
Добавить в Conf файл:
conf.put(Config.NIMBUS_HOST, "123.456.789.101); //YOUR NIMBUS'S IP conf.put(Config.NIMBUS_THRIFT_PORT,6627); //int is expected here

Кроме того, добавьте следующее: System.setProperty("storm.jar", <path-to-jar>); //link to exact file location (w/ dependencies) избежать следующее сообщение об ошибке:
[main] INFO backtype.storm.StormSubmitter - Jar not uploaded to master yet. Submitting jar... Exception in thread "main" java.lang.RuntimeException: Must submit topologies using the 'storm' client script so that StormSubmitter knows which jar to upload.
Ура!

Answer 2

Вы можете передать эти данные, используя параметры conf карты .. вы можете передать ключ, значение пары в соответствии с вашими требованиями

для списка принятых параметров проверки this страницы ..

Answer 3

Да, определенно вы можете рассказать свою топологию о своем nimbus IP. Ниже приведен пример кода для отправки топологии на удаленный кластер.

Map storm_conf = Utils.readStormConfig(); 
storm_conf.put("nimbus.host", "<Nimbus Machine IP>"); 
Client client = NimbusClient.getConfiguredClient(storm_conf) 
           .getClient(); 
String inputJar = "C:\\workspace\\TestStormRunner\\target\\TestStormRunner-0.0.1-SNAPSHOT-jar-with-dependencies.jar"; 
NimbusClient nimbus = new NimbusClient(storm_conf, "<Nimbus Machine IP>", 
           <Nimbus Machine Port>); 
// upload topology jar to Cluster using StormSubmitter 
String uploadedJarLocation = StormSubmitter.submitJar(storm_conf, 
           inputJar); 

String jsonConf = JSONValue.toJSONString(storm_conf); 
nimbus.getClient().submitTopology("testtopology", 
         <uploadedJarLocation>, jsonConf, builder.createTopology()); 

Вот рабочий пример: Submitting a topology to Remote Storm Cluster