Выполнение расчетов на подмножества данных кадра подмножества в Python

Question

user_id char_id rating 
100   33   3 
100   44   2 
100   33   1 
100   44   4 
111   55   5 
111   44   4 
111   55   5 

У меня есть кадр данных в формате так же к этому и пытаюсь выполнить расчеты по рейтингам после того как они были сгруппированы по user_id и char_id. Не работает, но мне нужно сделать что-то вроде data.groupby('user_id', 'char_id'), а затем рассчитать скользящую среднюю за каждые char_id за каждые user_id. Любая помощь? У меня есть несколько тысяч user_id, поэтому я не могу пройти и выбирать по одному для вычислений.

Мне нужно как-то перебрать столбец user_id и объединить все одинаковые user_ids вместе и сохранить этот формат, чтобы user_id s были отдельными. Затем мне нужно сделать то же самое, итерации по char_id для каждого подмножества user_id и сохранения этого формата, чтобы я мог, наконец, выполнить вычисления на подмножествах подмножеств рейтингов. Пока все мои попытки не увенчались успехом. Ближайший я пришел было:

def divide_by_user(data): 
    for user in data['user_id']: 
     user_data = data.where(data['user_id'] == user) 
     return user_data 

Answer 1

Там нет необходимости делать это вручную, создавая и подведение подмножества, как это именно то, что DataFrame.groupby() для. Создайте свою группу:

grouped = df.groupby(['user_id', 'char_id']) 

Тогда вы можете применить функцию к каждому подмножеству. Это звучит, как вы хотите, либо rolling_mean или expanding_mean, оба из которых уже доступны в pandas:

df['cum_average'] = grouped['rating'].apply(pd.expanding_mean) 
# New column now contains the average rating for each subset, 
# including all values that have been seen so far. 
df 
Out[43]: 
    user_id char_id rating cum_average 
0  100  33  3   3 
1  100  44  2   2 
2  100  33  1   2 
3  100  44  4   3 
4  111  55  5   5 
5  111  44  4   4 
6  111  55  5   5 

---

Использование большего случайно сгенерированный набор данных для демонстрации rolling_window():

df = pd.DataFrame({ 
    'user_id': [random.choice([100, 111, 112]) for n in range(n_rows)], 
    'char_id': [random.choice([33, 44, 55]) for n in range(n_rows)], 
    'rating': [random.choice([1, 2, 3, 4, 5]) for n in range(n_rows)] 
}) 
grouped = df.groupby(['user_id', 'char_id']) 
df['cum_average'] = grouped['rating'].apply(pd.rolling_mean, window=7) 
# Output. The rolling average will be NaN until enough values have been 
# observed for that subset, you can change this using the 
# min_periods argument to rolling_window 
df.sort(columns=['user_id', 'char_id']) 
    char_id rating user_id cum_average 
3   33  1  100   NaN 
19  33  2  100   NaN 
22  33  5  100   NaN 
34  33  1  100   NaN 
47  33  1  100   NaN 
48  33  1  100   NaN 
49  33  1  100  1.714286 
51  33  4  100  2.142857 
55  33  2  100  2.142857 
60  33  2  100  1.714286 
66  33  2  100  1.857143 
... 
etc. 

Answer 2

Попробуйте это: "df" - это dataFrame

среднее = pd.rolling_mean (df.rating, 7)