Pyspark добавить столбец, преобразовывающий существующий столбец utc javascript в строку

Question

У меня есть dataframe с столбцом, хранящим utc (javascript timestamp, named utc), и я пытаюсь добавить к нему столбец с utc, который хранится как читаемая строка.

from datetime import datetime 
panel_json = panel_json.withColumn('timestamp', datetime.utcfromtimestamp(panel_json.utc/1000.0).strftime('%Y-%m-%dT%H:%M:%SZ')) 

Но любая попытка я дает мне

TypeError: a float is required

Я попробовал, а поставить поплавок вокруг panel_json.utc

datetime.utcfromtimestamp(float(panel_json.utc)/1000.0).strftime('%Y-%m-%dT%H:%M:%SZ')) 

И еще несколько попыток с цитатами, удаление panel_json и т.д. .. но я не могу заставить его работать. Есть идеи?

Thanks

Answer 1

Python library не может быть использован именно так. Вы можете создать UDF для этого форматирования или - что намного быстрее - пусть pyspark date_format встроенный udf выполнит эту работу.