Добавить столбец в существующую фреймворк со случайными фиксированными значениями в Pyspark

Question

Я новичок в Pyspark, и я пытаюсь добавить новый столбец к существующему файловому кадру. Новый столбец должен содержать только 4 фиксированных значения (например, 1,2,3,4), и я хотел бы случайным образом выбрать одно из значений для каждой строки.

Как я могу это сделать?

Answer 1

Pyspark dataframes неизменяемы, поэтому вам нужно вернуть новый (например, вы не можете просто назначить ему так, как вы можете, с помощью цифровых кадров Pandas). Для того, чтобы делать то, что вы хотите использовать udf:

from pyspark.sql.functions import udf 
import numpy as np 

df = <original df> 

udf_randint = udf(np.random.randint(1, 4)) 
df_new = df.withColumn("random_num": udf_randint)