Spark Streaming - Фильтр динамически

Question

У меня есть работа по искрообразованию. Я хочу применить фильтр к моему входному RDD.

Я хочу получать критерии фильтра динамически каждый раз от Hbase во время каждой партии искрообразования.

Как это достичь?

Я могу создать объект соединения с использованием разделов карты один раз.

Но с искровым фильтром, как я могу достичь того же?

Answer 1

Я думаю, правильный подход пишет функцию фильтра собственного (псевдокод):

DStream<Integer> intDstream= someIntegerIntoDStream; 
intDstream.foreachPartition{ 
    create HBase connection here if you need it for a batch 
    while(arg0.hasNext()){ //here you have an iterator 
      Integer current = arg0.next(); 
      create HBase connection here if you need it for each element 
      //Here is your filter function: 
      if(current meets your condition) 
       arg0.remove(); 

Так что же происходит, что вы работаете на ваш исполнитель и вручную выбирать каждый элемент, применяя условие к нему и удалению, если он соответствует вашим критериям.