pyspark: Нанести функции на каждом поля РДА

Question

я создал dataframe используя df1 = HiveContext (SC) .sql ("от xxx.table1 выберите *"), преобразованные в РД df1.rdd

Я должен применить преобразования на уровне поля в строке. Как мне это сделать?

Я попытался следующий код:

df2 = rdd1.map(lambda row: 
     Row(row.fld1, 
      row.fld2.replace("'", "''").replace("\\","\\\\").strip(), 
      row.fld3.toLowerCase 
     ) 
) 

Я получаю ошибку

AttributeError: 'unicode' object has no attribute toLowerCase/replace

Не могли бы вы помочь?

Answer 1

Заменить

row.fld3.toLowerCase 

по

row.fld3.lower()