Найти повторяющиеся события во временных рядах с помощью pandas

Question

У меня есть временные ряды событий, и я хотел бы считать предыдущие непоследовательные появления каждого типа событий в временных рядах. Я хочу сделать это с помощью панд. Я мог бы сделать это, итерации через предметы, но мне интересно, есть ли умный способ сделать это без петель.

Чтобы сделать его более ясным. Рассмотрим следующий временной ряд:

dates = pd.date_range('1/1/2011', periods=4, freq='H') 
data = ['a', 'a', 'b', 'a'] 
df = pd.DataFrame(data,index=dates,columns=["event"]) 

        event 
2011-01-01 00:00:00 a 
2011-01-01 01:00:00 a 
2011-01-01 02:00:00 b 
2011-01-01 03:00:00 a 

Я хотел бы добавить новый столбец, который говорит, для каждого элемента в столбце «событие», сколько непоследовательных раз ранее появился этот элемент. То есть, что-то вроде этого:

    event #prev-occurr 
2011-01-01 00:00:00 a  0 
2011-01-01 01:00:00 a  0 
2011-01-01 02:00:00 b  0 
2011-01-01 03:00:00 a  1 

Answer 1

Мы на самом деле не имеют хорошую поддержку groupby для смежных групп, но мы можем использовать шаблон сдвига сравнения-cumsum, а затем плотный ранг, чтобы получить то, что вам нужно, IIUC:

>>> egroup = (df["event"] != df["event"].shift()).cumsum() 
>>> df["prev_occur"] = egroup.groupby(df["event"]).rank(method="dense") - 1 
>>> df 
        event prev_occur 
2011-01-01 00:00:00  a   0 
2011-01-01 01:00:00  a   0 
2011-01-01 02:00:00  b   0 
2011-01-01 03:00:00  a   1 
2011-01-01 04:00:00  a   1 
2011-01-01 05:00:00  b   1 
2011-01-01 06:00:00  a   2 

---

Это работает, потому что мы получаем непрерывный подсчет группы событий:

>>> egroup 
2011-01-01 00:00:00 1 
2011-01-01 01:00:00 1 
2011-01-01 02:00:00 2 
2011-01-01 03:00:00 3 
2011-01-01 04:00:00 3 
2011-01-01 05:00:00 4 
2011-01-01 06:00:00 5 
Freq: H, Name: event, dtype: int64 

, а затем мы можем сгруппировать это по типам событий, давая нам нон-место версия:

>>> for k,g in egroup.groupby(df["event"]): 
...  print(g) 
...  
2011-01-01 00:00:00 1 
2011-01-01 01:00:00 1 
2011-01-01 03:00:00 3 
2011-01-01 04:00:00 3 
2011-01-01 06:00:00 5 
Name: event, dtype: int64 
2011-01-01 02:00:00 2 
2011-01-01 05:00:00 4 
Name: event, dtype: int64 

, который мы можем, наконец, сделать густую ранг на.