Partition РДД из текстового файла при сохранении заголовка

Question

Для

val rdd = sc.textFile("file.txt") 

где file.txt включает

Some Informative Header 
value1, value11 
value2, value22 

как разделить rdd в

Some Informative Header 
value1, value11 

и

Some Informative Header 
value2, value22 

, чтобы я мог запускать rdd.pipe("/bin/awesomeApp") на каждом разделе?

Примечание В конце концов мои awesomeApp потребности как самого первого въезда в Some Informative Header, остальные записи могут быть вычислены параллельно.

Answer 1

То, как вы хотите, точно требует реализации пользовательских RDD и разделов, что не является самой простой задачей. Таким образом, если вы проворны в выборе формата вывода, вы можете преобразовать входной RDD в ключ-значение одной, где ключ каждой строки заголовка:

val rdd = sc.textFile("file.txt") 
val header = rdd.take(1) 
val lines = rdd.drop(1) 
val headerRdd = sc.parralelize(0 to lines.count()) 
headerRdd.zip(lines)