Конвертировать итерацию в RDD

Question

Я хочу, чтобы сохранить от искрового потока до пары индексов эластичного поиска. Я создаю пары <key(index), value>, когда я выполняю groupByKey, получается Tuple из <key(index), Iterable<value>>, но для того, чтобы сэкономить на поиске elastics с помощью плагина elasticsearch-spark, мне нужны значения как JavaRDD<value>.

Я знаю, что есть опция sparkContext.parallelize (list), которая создает JavaRDD из списка, но это может быть выполнено только для драйвера.

Есть ли другой способ создать JavaRDD, который может быть выполнен на исполнителе? Или другим способом, которым я могу достичь Tuple2<key(index), JavaRDD<value>>, который работает на исполнителя? Если нет, то как я могу сделать только коммутатор Iterator для JavaRDD на драйвере и плагиновую запись в elasticsearch у исполнителя?

Спасибо,

Daniela

Answer 1

Я бы сказал, что это должно быть возможно иметь л вроде следующего

JavaPairRDD<Key, Iterable<Value>> pair = ...; 
JavaRDD<Iterable<Value>> values = pair.map(t2 -> t2._2()); 
JavaRDD<Value> onlyValues = values.flatMap(it -> it); 

альтернативный подход будет

JavaPairRDD<Key, Iterable<Value>> pair = ...; 
JavaRDD<Key, Value> keyValues = pair.flatMapValues(v1 -> v1); 
JavaRDD<Value> values = keyValues.map(t2 -> t2._2());