Spark Datasets - сильная типизация

Question

Что такое строго типизированный API и нетипизированный API в отношении наборов данных Spark?

Как наборы данных аналогичны/отличаются от DataFrames?

Answer 1

API-интерфейсы Dataframe являются нетипизированными API, так как тип будет известен только во время выполнения. В то время как API-интерфейсы набора данных являются типизированными API-интерфейсами, для которых тип будет известен во время компиляции.

df.select("device").where("signal > 10")  // using untyped APIs 
ds.filter(_.signal > 10).map(_.device)   // using typed APIs