Сколько RDD создает DStream для пакетного интервала?

Question

Производит ли один пакетный интервал данных один и только один RDD в DStream независимо от того, насколько велика величина данных?

Answer 1

Да, в каждом интервале интервалов, производимых на каждом периодическом интервале, имеется ровно один RDD, независимо от количества записей (которые включены в RDD - внутри может быть нулевая запись).

Если этого не было, и создание RDD было обусловлено количеством элементов, вы не имели бы синхронной (микро-пакетной) потоковой передачи, а скорее как асинхронную обработку.

Answer 2

В Spark Streaming Programming Guide - Discretized Streams (DStreams), есть:

Каждый РДД в DStream содержит данные из некоторого интервала