Spark Streaming Элемент DStream vs RDD

Question

Я использую API-интерфейс Spark Streaming, я просто хотел лучше понять, как лучше всего разработать код.

настоящее время я использую Кафка потребителей (в pyspark) от pyspark.streaming.kafka.createDirectStream

Согласно http://spark.apache.org/docs/latest/streaming-programming-guide.html

Спарк Streaming обеспечивает абстракции высокого уровня называется дискрети- поток или DStream , который представляет собой непрерывный поток данных. DStreams могут быть созданы либо из входных потоков данных из источников , таких как Kafka, Flume и Kinesis, либо путем применения высокоуровневых операций на других DStreams. Внутренне, DStream представляется как последовательностью RDD.

По существу, я хочу применить набор функций к каждому из элементов в DStream. В настоящее время я использую функцию «map» для pyspark.streaming.DStream. Согласно документации, мой подход кажется правильным. http://spark.apache.org/docs/latest/api/python/pyspark.streaming.html#pyspark.streaming.DStream

отображение (е, preservesPartitioning = False) Возвращает новый DStream, применяя функцию к каждому элементу DStream.

Должен ли я использовать карту или был бы правильным подход применять функции/преобразования к RDD (поскольку DStream использует RDD)?

foreachRDD (func) Примените функцию к каждому RDD в этом DStream.

Больше Docs: http://spark.apache.org/docs/latest/api/python/pyspark.streaming.html

Answer 1

DirectStream.map является правильным выбором здесь. После map:

stream.map(f) 

эквивалентно:

stream.transform(lambda rdd: rdd.map(f)) 

DirectStream.foreachRDD с другой стороны, является выходным действием и создает выход DStream. Функция, которую вы используете с foreachRDD, не должна возвращать ничего, как и сам метод. Это очевидно, когда взгляните на подпись Scala:

def foreachRDD(foreachFunc: RDD[T] => Unit): Unit