Дать RDD в CSV

Question

У меня есть RDD, которое имеет форму

org.apache.spark.rdd.RDD[(String, Array[String])] 

Я хочу, чтобы написать этот код в файл CSV. Пожалуйста, предложите мне, как это можно сделать.

Выполнение myrdd.saveAsTextFile on дает результат, как показано ниже.

(875,[Ljava.lang.String;@53620618) 
(875,[Ljava.lang.String;@487e3c6c) 

Answer 1

Вы можете попробовать:

myrdd.map(a => a._1 + "," + a._2.mkString(",")).saveAsTextFile 

Answer 2

Другой ответ не устраивать побег. Возможно, это более общее решение?

import au.com.bytecode.opencsv.CSVWriter 
import java.io.StringWriter 
import scala.collection.JavaConversions._ 
val toCsv = (a: Array[String]) => { 
    val buf = new StringWriter 
    val writer = new CSVWriter(buf) 
    writer.writeAll(List(a)) 
    buf.toString.trim 
} 
rdd.map(t => Array(t._1) ++ t._2) 
    .map(a => toCsv(a)) 
    .saveAsTextFile(dest)