Вставка записей в световой информационный кадр

Question

У меня есть dataframe в pyspark. Вот как это выглядит,

+---------+---------+ 
|timestamp| price | 
+---------+---------+ 
|670098928| 50  | 
|670098930| 53  | 
|670098934| 55  | 
+---------+---------+ 

Я хочу, чтобы заполнить пробелы в метку времени с предыдущего состояния, так что я могу получить идеальный набор для расчета времени, взвешенные средние значения. Вот то, что результат должен быть как -

+---------+---------+ 
|timestamp| price | 
+---------+---------+ 
|670098928| 50  | 
|670098929| 50  | 
|670098930| 53  | 
|670098931| 53  | 
|670098932| 53  | 
|670098933| 53  | 
|670098934| 55  | 
+---------+---------+ 

В конце концов, я хочу, чтобы упорствовать этот новый dataframe на диске и визуализировать мой анализ.

Как это сделать в pyspark? (Для простоты, я просто держал 2 колонки. Моя текущая dataframe имеет 89 столбцов с ~ 670 миллионов записей до заполнения пробелов.)

Answer 1

Вы можете создать диапазон временных меток, расплющить их и выбрать строки

import pyspark.sql.functions as func 

from pyspark.sql.types import IntegerType, ArrayType 


a=sc.parallelize([[670098928, 50],[670098930, 53], [670098934, 55]])\ 
.toDF(['timestamp','price']) 

f=func.udf(lambda x:range(x,x+5),ArrayType(IntegerType())) 

a.withColumn('timestamp',f(a.timestamp))\ 
.withColumn('timestamp',func.explode(func.col('timestamp')))\ 
.groupBy('timestamp')\ 
.agg(func.max(func.col('price')))\ 
.show() 

+---------+----------+ 
|timestamp|max(price)| 
+---------+----------+ 
|670098928|  50| 
|670098929|  50| 
|670098930|  53| 
|670098931|  53| 
|670098932|  53| 
|670098933|  53| 
|670098934|  55| 
|670098935|  55| 
|670098936|  55| 
|670098937|  55| 
|670098938|  55| 
+---------+----------+