Обрабатывать пропущенные значения, основанные на другом столбце значения

Question

У меня есть кадр данных ДФ:

df = pd.DataFrame({'City': ['Cambridge','','Boston','Washignton','','Tampa', 
'Danvers','Miami','Cambridge','Miami','','Washington'], 'State': ['MA','DC','MA', 
'DC','MA','FL','MA','FL','MA','FL','FL','DC']}) 

Как мы можем видеть в приведенном выше ФР, у меня есть два столбца «Город» и «государство». Есть 3 города с '' (Нет значений). Я хочу присвоить значение отсутствующим значениям в городах. Назначение должно выполняться следующим образом. Город, который существует максимальное количество раз для определенного состояния, должен быть присвоен отсутствующему значению для этого конкретного состояния. Например: второй недостающий город соответствует состоянию MA. Теперь, если внимательно изучить данные, «Кембридж» - это город, который встречается чаще всего для государственной МА. Поэтому это недостающее значение следует заменить на «Cambridge».

Следуя той же тенденции, первый пропавший город должен быть Вашингтоном, вторым должен быть Кембридж, а третьим должен быть Майами.

Как выполнить эту задачу с помощью панд?

Answer 1

top_cities = {} 
for state in np.unique(df.State): 
    cities = [city for city in df[df.State==state].City.values if city] 
    top_cities[state] = max(set(cities), key=cities.count) 

new_cities = [] 
for city, state in df.values: 
    if city: 
     new_cities.append(city) 
    else: 
     new_cities.append(top_cities[state]) 

df['City'] = new_cities 

Answer 2

IIUC

df.update(df.replace('', np.nan).set_index('State', append=True) \ 
    .groupby(level='State').City \ 
    .apply(lambda x: x.fillna(x.value_counts().idxmax())) \ 
    .reset_index('State', drop=True)) 
df 

---

код ссылки
примечание: дополнительный столбец A оригинальна City колонна делает его электронной Asier, чтобы увидеть, где города заполняются в.

df = pd.DataFrame({ 
     'City': ['Cambridge','','Boston','Washignton','','Tampa', 
       'Danvers','Miami','Cambridge','Miami','','Washington'], 
     'State': ['MA','DC','MA','DC','MA','FL', 
        'MA','FL','MA','FL','FL','DC'], 
     'A': ['Cambridge','','Boston','Washignton','','Tampa', 
       'Danvers','Miami','Cambridge','Miami','','Washington']}) 

df.update(df.replace('', np.nan).set_index('State', append=True) \ 
    .groupby(level='State').City \ 
    .apply(lambda x: x.fillna(x.value_counts().idxmax())) \ 
    .reset_index('State', drop=True)) 
df