расчет дельта-времени между записями в dataframe

Question

У меня есть интересная проблема, я пытаюсь рассчитать время дельта между записями, сделанными в разных местах.

id x y time 
1 x1 y1 10 
1 x1 y1 12 
1 x2 y2 14 
2 x4 y4 8 
2 x5 y5 12 

Я пытаюсь получить некоторые вещи, как

id x y time delta 
1 x1 y1 10 4 
1 x2 y2 14 0 
2 x4 y4 8 4 
2 x5 y5 12 0 

Я сделал этот тип обработки с HiveQL с помощью пользовательских UDTF, но думал, как я могу добиться этого с DataFrame вообще (может это быть в R, Pandas, PySpark). В идеале я пытаюсь найти решение для Pandon pandas и pyspark.

Любые подсказки, спасибо за ваше время!

Answer 1

Я думаю, что вам нужно drop_duplicates с groupby с DataFrameGroupBy.diff, shift и fillna:

df1 = df.drop_duplicates(subset=['id','x','y']).copy() 

df1['delta'] = df1.groupby(['id'])['time'].diff().shift(-1).fillna(0) 

Окончательный код:

import pandas as pd df = pd.read_csv("sampleInput.txt", 
             header=None, 
             usecols=[0,1,2,3], 
             names=['id','x','y','time'], 
             sep="\t") 

delta = df.groupby(['id','x','y']).first().reset_index() 
delta['delta'] = delta.groupby('id')['time'].diff().shift(-1).fillna(0) 

тайминги:

In [111]: %timeit df.groupby(['id','x','y']).first().reset_index() 
100 loops, best of 3: 2.42 ms per loop 

In [112]: %timeit df.drop_duplicates(subset=['id','x','y']).copy() 
1000 loops, best of 3: 658 µs per loop 

Answer 2

@jezrael спасибо за подсказки, это было очень полезно, вот код

import pandas as pd 
df = pd.read_csv("sampleInput.txt", header=None,usecols=[0,1,2,3], names=['id','x','y','time'],sep="\t") 
delta = df.groupby(['id','x','y']).first().reset_index() 
delta['delta'] = delta.groupby('id')['time'].diff().shift(-1).fillna(0) 

Это занимает

1 x1 y1 10 
1 x1 y1 12 
1 x2 y2 14 
2 x4 y4 8 
2 x5 y5 12 

и дает,

id x y time delta 
0 1 x1 y1 10  4 
1 1 x2 y2 14  0 
2 2 x4 y4  8  4 
3 2 x5 y5 12  0