Spark SQL - IN item

Question

Я хотел бы добавить, где условие для столбца с несколькими значениями в DataFrame.

Его работа для одного значения, например.

df.where($"type".==="type1" && $"status"==="completed"). 

Как добавить несколько значений для одного столбца, как показано ниже.

df.where($"type" IN ("type1","type2") && $"status" IN ("completed","inprogress") 

Answer 1

метод, который вы ищете isin:

import sqlContext.implicits._ 
df.where($"type".isin("type1","type2") and $"status".isin("completed","inprogress")) 

Как правило, вы хотите сделать что-то вроде этого

val types = Seq("type1","type2") 
val statuses = Seq("completed","inprogress") 

df.where($"type".isin(types:_*) and $"status".isin(statuses:_*))