Как я могу преобразовать Seq в Спарк РДД

Question

Я использую Спарк Scala и Play Framework У меня есть SEQ как этот

//a sequence of Book objects 
val books:[Seq[Book]] 

, что я заполнить с помощью метода форматирования из файла JSON:

implicit val bookFormat: Format[Libri] = { 
    ((JsPath \ "City").format[String] and 
    (JsPath \ "GEN").format[Int] and 
    (JsPath \ "SER").format[Int]  
    ) (Libri.apply , unlift(Libri.unapply)) } 

val books = Json.parse(JsonString).as[Seq[Libri]] 

Как я могу преобразовать этот seq в Spark RDD. (Я хочу использовать этот RDD для сделать некоторый запрос ... так что я нужен «registerTempTable» и «rdd.sqlContext.sql»

Answer 1

Вы можете использовать sparkContext.parallelize(books). parallelize принимает коллекцию и разбивает ее на РДУ. Вы можете передайте дополнительный параметр, чтобы определить количество разделов, в которые этот seq будет разбит.