Pandas: Impute NaN

Question

У меня есть неполный фрейм данных, incomplete_df, как показано ниже. Я хочу ввести недостающие amount s в среднем amount соответствующего id. Если среднее значение для этого конкретного id само является NaN (см. id=4), я хочу использовать общее среднее значение.

Ниже приведены примеры данных и мой крайне неэффективным решение:

import pandas as pd 
import numpy as np 
incomplete_df = pd.DataFrame({'id': [1,2,3,2,2,3,1,1,1,2,4], 
           'type': ['one', 'one', 'two', 'three', 'two', 'three', 'one', 'two', 'one', 'three','one'], 
         'amount': [345,928,np.NAN,645,113,942,np.NAN,539,np.NAN,814,np.NAN] 
         }, columns=['id','type','amount']) 

# Forrest Gump Solution 
for idx in incomplete_df.index[np.isnan(incomplete_df.amount)]: # loop through all rows with amount = NaN 
    cur_id = incomplete_df.loc[idx, 'id'] 
    if (cur_id in means.index): 
     incomplete_df.loc[idx, 'amount'] = means.loc[cur_id]['amount'] # average amount of that specific id. 
    else: 
     incomplete_df.loc[idx, 'amount'] = np.mean(means.amount) # average amount across all id's 

Какой самый быстрый и самый вещий/pandonic путь для достижения этой цели?

Answer 1

Правовая оговорка: Меня не интересует самое быстрое решение, но наиболее удобное.

Здесь, я думаю, что будет что-то вроде:

>>> df["amount"].fillna(df.groupby("id")["amount"].transform("mean"), inplace=True) 
>>> df["amount"].fillna(df["amount"].mean(), inplace=True) 

который производит

>>> df 
    id type amount 
0 1 one 345.0 
1 2 one 928.0 
2 3 two 942.0 
3 2 three 645.0 
4 2 two 113.0 
5 3 three 942.0 
6 1 one 442.0 
7 1 two 539.0 
8 1 one 442.0 
9 2 three 814.0 
10 4 one 615.2 

[11 rows x 3 columns] 

Есть много очевидных настроек в зависимости от, как именно вы хотите прикован процесс дележа идти.