Группировка и трансформация данных Pandas

Question

У меня есть набор данных временных рядов с 10 единицами оберегания. В каждый день каждая единица наблюдения может заниматься деятельностью в течение нескольких часов. Поэтому я (позволяет говорить) 4 переменных в DataFrame:

Дата - дата Unit - единица наблюдения acitvity - некоторая активность CumHours - суммарное количество часов, затраченных на единицу на деятельности.

Мне нужно создать переменную «Hours_calc», в которой указано, сколько часов было потрачено на любую активность по каждой строке в каждый день. После импорта всех нормальным бит части я делаю это:

DF = (mydata, columns = ['Date', 'Unit', 'Activity', 'CumHours']) 
DF['Hours_calc'] = np.nan 
DFGrouped = DF.groupby(['Unit', 'Activity']) 

Я считаю, что мне нужна метод преобразования, и я думаю, что первый аргумент, переданные функции преобразования (как указано) является колонкой DF как ряд как с методом agg(). Это правильно?

Я написал следующую функцию, но, как вы увидите, я понятия не имею, для расчета я должен иметь в виду DF или DFGrouped, или что? В общем, как обращаться к строкам/столбцам внутри goruped данных? Кроме того, могу ли я попытаться вернуть серию такой же длины, как и группа groupby?

def WorkingHours(x, Column): 
    LISTHOURS = [] 
    for row in xrange(1, len(x)): 
     Tot = int(DFGrouped[Column][row]) - int(DFGrouped[Column][row - 1]) 
     LISTHOURS.append(Tot) 
    return pd.Series(LISTHOURS) 

TESTDF = DFGrouped.transform({Hours_calc : lambda x : WorkingHours(x, 'CumHours')}) 

Кроме того, я что-нибудь в документации о пропускании Dict, чтобы преобразовать не видя, но я не вижу какой-либо другой способ выполнения функции только с одной переменной/столбца в Gorup.

Куда я ошибаюсь? Сообщение об ошибке долго запутывает, но заканчивается на «Функция преобразования недопустима для типов данных».

Answer 1

Я думаю, вы могли бы использовать функцию сдвига, чтобы сдвинуть столбец в сгруппированных данных на одну строку. Затем, если вы вычтите оригинал и сместили, вы получите сырое количество часов, потраченных на активность.

df = (mydata, columns = ['date', 'unit', 'activity', 'cumhours']) 
grouped = df.groupby(['unit', 'activity']) 
shift_it = lambda x: (x - x.shift()) 
raw_hours = grouped.cumhours.transform(shift_it) 
df.insert(0, 'raw_hours',raw_hours) 

EDIT 1. Если вы хотите, общая функция для перебора элементов серии с использованием преобразования, но без копирования в список, попробуйте следующее:

df = (mydata, columns = ['date', 'unit', 'activity', 'cumhours']) 
grouped = df.groupby(['unit', 'activity']) 
def trans_func(x): 
    y=x.copy() 
    for i in range(1,len(x.index)): 
     x.iloc[i]=y.iloc[i]-y.iloc[i-1] 
    return x 

raw_hours = gr['cumhours'].transform(lambda x: trans_func(x)) 
df.insert(0, 'raw_hours',raw_hours) 

Answer 2

Я думаю, что я, наконец, решить эту проблему. Я подозреваю, что ответ yemu это хорошо, но я предпочитаю это, как это было упражнение в конце концов научиться применять свои собственные функции:

DF = (mydata, columns = ['Date', 'Unit', 'Activity', 'CumHours']) 
DF['Hours_calc'] = np.nan 
DFGrouped = DF.groupby(['Unit', 'Activity']) 

def WorkingHours(x): 
    CumHoursList = list(x) 
    HoursCalcList = [] 
    HoursCalcList.insert(0, CumHoursList[0]) 
    for index in xrange(1, len(CumHoursList)): 
     CalcHoursList/insert(index, CumHoursList[index] - CumHoursList[index - 1]) 
    return CalcHoursList 

DFGrouped['CumHours'].transform(lambda x: WorkingHours(x)) 

Работает шарм!