Применение функции к уникальным значениям эффективности в pandas

Question

Это общий вопрос о том, как эффективно применять функцию в пандах. Я часто сталкиваюсь с ситуациями, когда мне нужно применить функцию к pd.Series, и было бы быстрее применить эту функцию только к уникальным значениям.

Например, предположим, что у меня очень большой набор данных. Один столбец - date, и я хочу добавить столбец, который дает последнюю дату квартала для date. Я бы сделал это:

mf['qtr'] = pd.Index(mf['date']) + pd.offsets.QuarterEnd(0) 

Но для больших наборов данных это может занять некоторое время. Таким образом, чтобы ускорить его, я извлечь уникальные значения из date, применить функцию к тем, а затем объединить его обратно в исходные данные:

dts = mf['date'].drop_duplicates() 
eom = Series(pd.Index(dts) + pd.offsets.QuarterEnd(0), index=dts) 
eom.name = 'qtr' 
mf = pd.merge(mf, eom.reset_index()) 

Это может быть намного быстрее, чем однострочника выше.

Итак, вот мой вопрос: это действительно правильный способ делать такие вещи, или есть лучший подход?

И было бы целесообразно добавить функцию к пандам, которая автоматически применила бы этот уникальный подход/применение/слияние? (Это не сработало бы для определенных функций, таких как те, которые полагаются на скользящие данные, поэтому, вероятно, пользователь должен будет явно запросить такое поведение.)

Answer 1

Я лично просто группируюсь в столбце даты, а затем просто звоню Ваша функция для каждой группы:

mf.groupby('date',as_index=False)['date'].apply(lambda x: x + pd.offsets.QuarterEnd(0)) 

Я думаю, что должен работать

EDIT

OK выше не работает, но в следующем же, но я думаю, что это немного скрученные:

mf.groupby('date', as_index=False)['date'].apply(lambda x: (pd.Index(x)+ QuarterEnd(0))[0]) 

мы создаем datetimeindex для каждой даты, добавить смещение, а затем получить доступ к одного элемента, чтобы вернуть значение, но лично я думаю, что это не здорово.