Spark Scala scala.util.control.Exception catching and dropping Нет на карте

Question

Я пишу приложение Spark в scala и хочу обрабатывать грязный входной файл.

// CSV file 
val raw_data = sc.textFile(...) 

val clean_data = raw_data.map(_.split(delimiter)) 
    .map(r => (r(0), r(1).toDouble) 

будет вызывать исключение NumberFormatException, когда r (1) не является числом. Это происходит в небольшом количестве строк в уродливых входных данных.

я, наконец, приземлился на уродливой способ сделать то, что мне нужно:

import scala.util.control.Exception._ 

val clean_data = raw_data.map(_.split(delimiter)) 
    .map(r => (r(0), 
     catching(classOf[NumberFormatException]).opt(r(1).toDouble)) 
    .filter(r => r._2 != None) 
    .map(r => (r._1, r._2.get)) 

Это оставляет меня два вопроса.

1) Каков наилучший способ просто отбросить неверные строки на карте?

2) Как я могу обрабатывать типы опций, созданные путем ловли без необходимости сначала явно фильтровать None, а затем отображать и применять функцию .get для значений параметра None-None?

Я попытался применить шаг .flatMap (identity), чтобы избавиться от Nones, но получил ожидаемое исключение: TraversableOnce [?].

Answer 1

В Spark collect(pf:PartialFunction) является братом-близнецом коллекций scala collect, который существует именно с этой целью: сохраните те элементы коллекции, которые определены в частичной функции.

val rawData = sc.textFile(...) 

val cleanData = rawData.map(_.split(Delimiter)) 
      .collect{ case Array(x,y) if (Try(y.toDouble).isSuccess) (x,y.toDouble) } 

Другой вариант, который не оценивает .toDouble дважды будет использовать flatMap:

val cleanData = rawData.map(_.split(Delimiter)) 
         .flatMap(entry => Try(entry.toDouble).toOption) 

Примечание: Искра немного сбивает с толку, что есть без параметров collect метод, который предназначен для получения данных от RDD до водителя.