Пропуск некоторых строк по их длине в Scala и Spark

Question

У меня есть файл, который содержит много документов, как я могу пропустить те строки длиной < = 2, а затем обрабатывать строки длиной> 2. например :

fit perfectly clie . 
purchased not 
instructions install helpful . improvement battery life not hoped . 
product. 
cable good not work . cable extremely hot not recognize devices . 

после пропуска строки:

fit perfectly clie . 
instructions install helpful . improvement battery life not hoped . 
cable good not work . cable extremely hot not recognize devices . 

мой код:

val Bi = text.map(sen=> sen.split(" ").sliding(2)) 

Есть ли решение для этого?

Answer 1

Я хотел бы использовать фильтр:

> val text = sc.parallelize(Array("fit perfectly clie .", 
           "purchased not", 
           "instructions install helpful . improvement battery life not hoped .", 
           "product.", 
           "cable good not work . cable extremely hot not recognize devices .")) 

> val result = text.filter{_.split(" ").size > 2} 
> result.collect.foreach{println} 

fit perfectly clie . 
instructions install helpful . improvement battery life not hoped . 
cable good not work . cable extremely hot not recognize devices . 

Отсюда, вы можете работать с вашими данными в их первоначальном виде (т.е. не лексемы) после фильтрации. Если вы предпочитаете разметить первый, то вы можете сделать это:

text.map{_.split(" ")}.filter{_.size > 2} 

Итак, наконец, разметить, затем процеживают, а затем найти биграмм с sliding, вы будете использовать:

text.map{_.split(" ")}.filter{_.size > 2}.map{_.sliding(2)} 

Answer 2

Как насчет flatMap

text.flatMap(line=>{ 
    val tokenized = line.split(" ") 
    if(tokenized.length > 2) Some(tokenized.sliding(2)) 
    else None 
})