Найти минимальную отметку по временной шкале через Spark groupBy dataframe

Question

Когда я пытаюсь сгруппировать свою фреймворк в столбце, попробуйте найти минимум для каждой группы groupbyDatafram.min('timestampCol'), похоже, я не могу сделать это на не числовых столбцах. Затем, как я могу правильно фильтровать минимальную (самую раннюю) дату в группе?

Я передаю данные из экземпляра postgresql S3, так что данные уже настроены.

Answer 1

Просто выполнить агрегацию напрямую, а с помощью min помощника:

import org.apache.spark.sql.functions.min 

val sqlContext: SQLContext = ??? 

import sqlContext.implicits._ 

val df = Seq((1L, "2016-04-05 15:10:00"), (1L, "2014-01-01 15:10:00")) 
    .toDF("id", "ts") 
    .withColumn("ts", $"ts".cast("timestamp")) 

df.groupBy($"id").agg(min($"ts")).show 

// +---+--------------------+ 
// | id|    min(ts)| 
// +---+--------------------+ 
// | 1|2014-01-01 15:10:...| 
// +---+--------------------+ 

В отличие от min он будет работать на любой Orderable типа.