Удалите последовательные пробелы в линиях RDD в Spark

Question

Мои данные после того, как много программной очистки выглядит так (показывает частичный набор данных здесь).

ABCD  A M@L        79 
BGDA  F D@L        89 

Я хотел бы, чтобы преобразовать это в следующем дальнейшего Спарке операции Dataframe

ABCD,A,M@L,79 
BGDA,F,D@L,89 


val reg = """/\s{2,}/""" 
val cleanedRDD2 = cleanedRDD1.filter(x=> !reg.pattern.matcher(x).matches()) 

Но это ничего не возвращает. Как найти и заменить пустые строки разделителем? Спасибо! rt

Answer 1

Кажется, вы просто хотите заменить все не вертикальные пробелы в строковых данных. Я предлагаю использовать replaceAll (для замены всех вхождений текстов, соответствующих шаблону) с [\t\p{Zs}]+ regex.

Вот только в sample code:

val s = "ABCD  A M@L        79\nBGDA  F D@L        89" 
val reg = """[\t\p{Zs}]+""" 
val cleanedRDD2 = s.replaceAll(reg, ",") 
print(cleanedRDD2) 
// => ABCD,A,M@L,79 
//  BGDA,F,D@L,89 

А вот regex demo. [\t\p{Zs}]+ соответствует одному или нескольким вхождениям вкладки (\t) или любому пробелу Unicode от Space Separator category.

Чтобы изменить содержимое РДУ, просто использовать .map:

newRDD = yourRDD.map(elt => elt.replaceAll("""[\t\p{Zs}]+""", ","))