2016-07-19 5 views
2

Это полный вопрос о нобе, извините за это. В Spark, я могу использовать select as:Spark SQL - Выберите все вычисленные столбцы AND?

df.select("*"); //to select everything 
df.select(df.col("colname")[, df.col("colname")]); //to select one or more columns 
df.select(df.col("colname"), df.col("colname").plus(1)) //to select a column and a calculated column 

Но. Как я могу выбрать все столбцы PLUS для расчета? Очевидно select("*", df.col("colname").plus(1)) не работает (сбор ошибка). Как это можно сделать при JAVA? Спасибо!

ответ

4

Вобще:

df.select(df.col("*"), df.col("colName").plus(1)); 
+0

импорта совместно с использованием pyspark: 'от pyspark.sql.functions импорта col' – hamed

0

Вы можете использовать withColumn() метод, это позволит создать новый столбец в DataFrame.

df.select("*") 
    .withColumn("ColName", col("colName").plus(1)) 
+0

Я лично предпочитаю этот. Помещает все мои вычисленные столбцы вместе. – absmiths

Смежные вопросы