Maniputale CSV с искрой

Question

лестницу

У меня есть файл CSV, который является «полуструктурированный»

canal,username,email,age 
facebook,pepe22,anyemail@gmail.com,24 
twitter,foo-24,anyemail@gmail.com,33 
facebook,caty24,,22 

предположит, что я хочу, чтобы первый столбец второй и третий столбец в org.apache.spark.rdd RDD .RDD [(String, String, String)]

Я действительно новый, им с помощью искры 1.4.1, мой код достигают здесь

val rdd = sc.textFile("/user/ergorenova/socialmedia/allus/test").map(_.split(",")) 

Может кто-нибудь мне помочь?

Я действительно ценю это

Answer 1

val rdd = sc.textFile("/user/ergorenova/socialmedia/allus/test") 
      .map(_.split(",",-1) match { 

       case Array(canal, username, email) => (canal, username, email) 

       case Array(canal, username, email, age) => (canal, username, email) 
      }) 

Вы получите кортеж, сделанный из первого, второго и третьего столбца.