Удаление стоп-слов из строки в искры

Question

Привет, я хочу удалить стоп-слова из строки в Spark.

Скажем, у меня есть входной строки «Привет-люди», то я хочу выход быть (привет люди), но я получаю это как (hellopeople)

Мой код:

def processLine(s: String, stopWords: Set[String]): Seq[String] = { 
    s.replaceAll("[^a-zA-Z ]", "").toLowerCase().split("\\s+") 
    s.filter(!stopWords.contains(_)) 
    s.toSeq 
} 

Answer 1

Попробуйте это:

def processLine(s: String, stopWords: Set[String]): Seq[String] = { 

    s.replaceAll("[^a-zA-Z ]", " ") 
     .toLowerCase() 
     .split("\s+") 
     .filter(!stopWords.contains(_)).toSeq 
} 

Там находится на одно изменение, в replaceAll, "" вместо ""