Pandas DataFrame применяет функцию удвоения размера DataFrame

Question

У меня есть DataFrame Pandas с числовыми данными. Для каждого небинарного столбца я хочу определить значения, превышающие его 99-й процентиль, и создать булевскую маску, которую я позже использую для удаления строк с выбросами.

Я пытаюсь создать эту булево маску, используя метод apply, где df является DataFrame с числовыми данными размером * б следующим образом.

def make_mask(s): 
    if s.unique().shape[0] == 2: # If binary, return all-false mask 
     return pd.Series(np.zeros(s.shape[0]), dtype=bool) 
    else: # Otherwise, identify outliers 
     return s >= np.percentile(s, 99) 

s_bool = df.apply(make_mask, axis=1) 

К сожалению, s_bool выводится как DataFrame с вдвое большим количеством столбцов (т.е. размер * (б * 2)). Первые столбцы b имеют имена 1, 2, 3 и т. Д. И заполнены нулевыми значениями. Второй столбец b представляется подходящей маской.

Почему метод apply удваивает размер DataFrame? К сожалению, Pandas apply documentation не предлагает полезные подсказки.

Answer 1

Я не понимаю, почему, но, похоже, проблема в том, что вы возвращаете серию. Это похоже на работу в вашем данном примере:

def make_mask(s): 
    if s.unique().shape[0] == 2: # If binary, return all-false mask 
     return np.zeros(s.shape[0], dtype=bool) 
    else: # Otherwise, identify outliers 
     return s >= np.percentile(s, 99) 

Вы можете еще больше упростить код, как это так, и использовать raw=True:

def make_mask(s): 
    if np.unique(s).size == 2: # If binary, return all-false mask 
     return np.zeros_like(s, dtype=bool) 
    else: # Otherwise, identify outliers 
     return s >= np.percentile(s, 99)