Временная разметка в pyspark

Question

df1: 

Timestamp: 

1995-08-01T00:00:01.000+0000 

Есть ли способ отделить день месяца от столбца временной метки кадра данных с помощью pyspark. Не в состоянии предоставить код, я новичок в искру. У меня нет подсказки о том, как действовать.

Answer 1

Вы можете разобрать этот штамп времени с помощью UNIX_TIMESTAMP:

from pyspark.sql import functions as F 

format = "yyyy-MM-dd'T'HH:mm:ss.SSSZ" 
df2 = df1.withColumn('Timestamp2', F.unix_timestamp('Timestamp', format).cast('timestamp')) 

Затем вы можете использовать DayOfMonth в новом столбце Timestamp:

df2.select(F.dayofmonth('Timestamp2')) 

Подробнее detials об этих функциях можно найти в pyspark functions documentation.

Answer 2

Код:

df1.select(dayofmonth('Timestamp').alias('day'))