Я готовлю Spark с программой python, которая вставляет данные из 2 таблиц на основе объединений. Последний столбец целевой таблицы имеет поле метки времени, которое будет иметь значение метки времени создания.Pyspark: Получение current_timestamp в динамическом запросе куста
Я попробовал current_timestamp и from_unixtime (unix_timestamp()). Обе функции, похоже, не работают. Я попробовал сейчас().
например, HiveContext (СБН) .sql ("SELECT" + FROM_UNIXTIME (UNIX_TIMESTAMP()) + "«) Это заявление ошибки в pyspark с "NameError: название 'FROM_UNIXTIME' не определен" Я импортировал pyspark .sql.function
Есть ли способ вставить значение метки времени в таблицу целей? Мой запрос содержит вставку с выбором из 2 таблиц, которые я запускаю в HiveContext.
Благодарим заранее!
Я попытался код ниже, и я получаю: TypeError: Объект «Столбец» не может быть вызван import pyspark.sql.functions как func HiveContext (sc) .sql («SELECT» + func.from_unixtime (func.unix_timestamp()) + ""). Может кто-нибудь сказать, что не так с этим запросом. Благодаря!!! – Aavik