scala: значение не является членом DataFrame

Question

Я прочитал в CSV-файле DataFrame через scala. Тогда я получил следующее сообщение об ошибке, когда я попытался сделать фильтрацию по полю:

val data = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("mode", "PERMISSIVE").option("inferSchema", "true").load("s3n://myPath/myData.csv.bz2") 
val newData = data.filter(data.Name != null) 

Тогда я получил ошибку ниже:

error: value Name is not a member of org.apache.spark.sql.DataFrame 
     val newData = data.filter(data.Name != null) 

ли я сделать что-то неправильно здесь? Благодаря!

Answer 1

Пробег: data("Name"). DataFrames не получают именованные методы доступа, добавленные к ним для ваших полей.

Answer 2

Вы можете использовать DataFrameNaFuctions для этого

data.na.drop(Seq("Name")) 

Вы не можете получить доступ к колонку с использованием синтаксисом dataframe.fieldname в искре лестницы.