ScalaSpark - Создание пары RDD с ключом и список значений

Question

у меня есть файл журнала с данными, как следующее:

1,2008-10-23 16:05:05.0,\N,Donald,Becton,2275 Washburn Street,Oakland,CA,94660,5100032418,2014-03-18 13:29:47.0,2014-03-18 13:29:47.0 
2,2008-11-12 03:00:01.0,\N,Donna,Jones,3885 Elliott Street,San Francisco,CA,94171,4150835799,2014-03-18 13:29:47.0,2014-03-18 13:29:47.0 

Мне нужно создать пару RDD с почтовым кодом в качестве ключа и список имен (Last Name,First Name) в этом почтовом индексе как значение.

мне нужно использовать mapValues и я сделал следующее:

val namesByPCode = accountsdata.keyBy(line => line.split(',')(8)).mapValues(fields => (fields(0), (fields(4), fields(5)))).collect() 

, но я получаю сообщение об ошибке. может кто-нибудь сказать мне, что не так с моим заявлением?

Answer 1

keyBy не изменяет значение, поэтому значение остается отдельной строкой «unsplit». Вы хотите использовать первый map выполнить разделение (чтобы получить RDD[Array[String]]), а затем использовать keyBy и mapValues, как вы делали в результате раскола:

val namesByPCode = accountsdata.map(_.split(",")) 
    .keyBy(_(8)) 
    .mapValues(fields => (fields(0), (fields(4), fields(5)))) 
    .collect() 

BTW - по вашему описанию, звучит, как вы бы также хотите вызвать groupByKey по этому результату (перед вызовом collect), если вы хотите, чтобы каждый zipcode оценивался в одну запись со списком имен. keyBy не выполняет группировку, он просто превращает RDD[V] в RDD[(K, V)], оставляя каждую запись одной записи (с потенциально большим количеством записей с одним и тем же «ключом»).