Как получить дату и время из строки?

Question

У меня есть кадр данных со следующей схемой:

root 

    |-- date : string (nullable = true) 

Значение выглядит 201605250000. Как я могу извлечь дату, час и мм из этой строки?

Answer 1

Анализировать строка:

val unix = unix_timestamp($"date", "yyyyMMddHHmm").alias("unix") 

Измени timestmap:

val ts = unix.cast("timestamp").alias("ts") 

Cast для date получить дату:

val dt = ts.cast("date").alias("dt") 

Используйте hour/minute, чтобы получить время:

val h = hour(ts).alias("h") 
val m = minute(ts).alias("m") 

Пример:

import org.apache.spark.sql.functions._ 

val df = Seq((1L, "201605250000")).toDF("id", "date") 
df.select($"*", unix, ts, dt, h, m).show 

// +---+------------+----------+--------------------+----------+---+---+ 
// | id|  date|  unix|     ts|  dt| h| m| 
// +---+------------+----------+--------------------+----------+---+---+ 
// | 1|201605250000|1464127200|2016-05-25 00:00:...|2016-05-25| 0| 0| 
// +---+------------+----------+--------------------+----------+---+---+ 

Примечание: Для использования 1.5 unix.cast("double").cast("timestamp")