Невозможно вычислить RDD при чтении из Aerospike с использованием стратирования и искры

Question

Я написал программу, цель которой - читать с Aerospike и преобразовывать ее в RDD в искру.

public void sparkTest() throws UnsupportedDataTypeException{ 

     log.debug("TESTING SPARK WITH AEROSPIKE"); 
     String host = "localhost"; 
     int port = 3000; 

     String namespace = "mynamespace"; 
     String inputSet = "myset"; 


     AerospikeDeepJobConfig inputConfigCell = AerospikeConfigFactory.createAerospike().host(host).port(3000) 
       .namespace(namespace) 
       .set(inputSet) 
       ; 

     log.debug("Print inputConfigCell ......"); 
     log.debug(inputConfigCell.getNamespace()); 
     log.debug(inputConfigCell.getSet()); 
     log.debug(inputConfigCell.getAerospikePort()); 
     log.debug(inputConfigCell.getHost()); 

     JavaRDD inputRDDCell = sparkContext.createJavaRDD(inputConfigCell); 
     log.debug("Print RDD ............."); 
     log.debug(inputRDDCell); 
} 

Я знаю, что есть много записей в моем Aerospike установлен, но не могут получить доступ к RDD характера «inputRDDCell». Даже журналы для пространства имен, набора, хоста порта полностью правильны. Я пытаюсь использовать inputRDDCell.first(), но он дает исключение, но когда я просто печатаю объект RDD, он дает мне очень доступный результат.

Просьба указать, как я могу правильно генерировать полезные и функциональные RDD. Я использую эту ссылку в качестве руководства: http://www.programcreek.com/java-api-examples/index.php?source_dir=deep-examples-master/deep-aerospike/src/main/java/com/stratio/deep/examples/java/factory/ReadingCellFromAerospike.java

Я использовал RDD, JAVARDD все, но получаю такой же выход.

Выход из бревен являются:

[2016-03-10 15:58:05.812] boot - 13535 DEBUG [main] --- PushAnalysisService: TESTING SPARK WITH AEROSPIKE 
[2016-03-10 15:58:05.825] boot - 13535 DEBUG [main] --- PushAnalysisService: Print inputConfigCell ...... 
[2016-03-10 15:58:05.827] boot - 13535 DEBUG [main] --- PushAnalysisService: mynamespace 
[2016-03-10 15:58:05.829] boot - 13535 DEBUG [main] --- PushAnalysisService: myset 
[2016-03-10 15:58:05.831] boot - 13535 DEBUG [main] --- PushAnalysisService: 3000 
[2016-03-10 15:58:05.832] boot - 13535 DEBUG [main] --- PushAnalysisService: localhost 
[2016-03-10 15:58:06.025] boot - 13535 INFO [main] --- MemoryStore: ensureFreeSpace(552) called with curMem=0, maxMem=539724349 
[2016-03-10 15:58:06.035] boot - 13535 INFO [main] --- MemoryStore: Block broadcast_0 stored as values in memory (estimated size 552.0 B, free 514.7 MB) 
[2016-03-10 15:58:06.161] boot - 13535 INFO [main] --- MemoryStore: ensureFreeSpace(901) called with curMem=552, maxMem=539724349 
[2016-03-10 15:58:06.165] boot - 13535 INFO [main] --- MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 901.0 B, free 514.7 MB) 
[2016-03-10 15:58:06.196] boot - 13535 INFO [sparkDriver-akka.actor.default-dispatcher-5] --- BlockManagerInfo: Added broadcast_0_piece0 in memory on localhost:49368 (size: 901.0 B, free: 514.7 MB) 
[2016-03-10 15:58:06.205] boot - 13535 INFO [main] --- SparkContext: Created broadcast 0 from broadcast at DeepRDD.java:65 
[2016-03-10 15:58:06.294] boot - 13535 DEBUG [main] --- PushAnalysisService: Print RDD ............. 
[2016-03-10 15:58:06.302] boot - 13535 DEBUG [main] --- PushAnalysisService: DeepRDD[0] at RDD at DeepRDD.java:62 

Answer 1

Существует значительная разница между проектом сообщества sasha-polev/aerospark и вилкой, поддерживаемой Aerospike называется aerospike/aerospark.

Община одна довольно бездействующая и предоставляет только базовую поддержку RDD. Поддерживаемая Aerospike поддерживает RDD, DataFrames и SparkSQL. Вы должны попробовать использовать свой существующий код.