2017-01-12 1 views
0

Я пытаюсь добавить временную метку к своим фреймам данных и сохранять их в улье.Как преобразовать значение current_timestamp() в строку в scala

Но вот в чем проблема: поскольку я не могу использовать временные метки в качестве типа данных в версии hive версии 0.13. Я хочу преобразовать current_timestamp() типа данных метки времени в строку, чтобы я мог загрузить его в таблицу hive.

Вот моя метка колонка:

[2017-01-12 12:55:55.278] [2017-01-12 12:55:55.278] [2017-01-12 12:55:55.278] [2017-01-12 12:55:55.278] [2017-01-12 12:55:55.278] 

Я попытался это, но не повезло:

val ts = current_timestamp() 
    val df:SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd") 
    val date:String = df.format(ts.toLong) 

Любой способ преобразовать временную метку в строку в Scala ??

ответ

0
val format = new java.text.SimpleDateFormat("yyyy-MM-dd") 
format.format(new java.util.Date()) 
+0

импорта формата java.util.Date импорта java.text.SimpleDateFormat вал = новый java.text.SimpleDateFormat ("гггг-ММ-дд") вал ц = format.format (новый java.util.Date ()) импорт org.apache.spark.sql.functions._ вал AppendDF = myDF.withColumn ("timestamp_val", ц) во время компиляции найдено: String [ошибка] требуется: org.apache.spark.sql .Column [error] val AppendDF = myDF.withColumn ("timestamp_val", ts) [ошибка] –

+0

java.lang.IllegalArgumentException: невозможно форматировать данный объект как дату. с format.format (current_timestamp()) –

+1

Хотя этот фрагмент кода может ответить на вопрос, лучше включить описание проблемы, и как ваш код справится с данной проблемой. Для будущего, вот некоторая информация, [как взломать удивительный ответ] (http://stackoverflow.com/help/how-to-answer) в Stack Overflow. – dirtydanee

1

Это довольно легко, чем я ожидал, я присоединяя метку время к моему кадру данных, как это,

val NewDF = oldDF.withColumn("newColumn_name",current_timestamp()) 

И отливает метку времени, чтобы строки, как это,

val NewDF = oldDF.withColumn("newColumn_name",current_timestamp().cast("String")) 

Hoe это помогает кому-то.

Спасибо.

Смежные вопросы