Удалить строки с отсутствующими значениями в pandas

Question

У меня есть кадр данных pandas, в котором один из столбцов имеет несколько отсутствующих значений.

Кадр данных состоит из сотен строк, но в столбце 4 пять значений: ?.

Я хочу удалить строки, в которых значения ? в этом столбце.

Я пытался использовать что-то вроде

df = df[np.isfinite(df[:,4])] 

Answer 1

Чтобы удалить строки, для которых четвёртого столбец равен ?, вы можете выбрать данные, которые не равны ?.

# Test data 
df = DataFrame({ 
     'col0': [0, 1, 2, 3, 4], 
     'col1': [0, 1, 2, 3, 4], 
     'col2': [0, 1, 2, 3, 4], 
     'col3': [0, 1, 2, 3, 4], 
     'col4': [0, 1, 2, '?', '?']}) 

df.loc[df.iloc[:, 4] != '?'] 

    col0 col1 col2 col3 col4 
0  0  0  0  0 0 
1  1  1  1  1 1 
2  2  2  2  2 2 

Если вы хотите, чтобы устранить строки, для которых четвёртой колонка содержит ?, это немного сложнее, так как вы должны избежать ? характера и обеспечить значение по умолчанию False для булевой индексировании для работы и, наконец, логическим отрицание ~.

df.loc[~df.iloc[:,4].str.contains('\?', na = False)] 

    col0 col1 col2 col3 col4 
0  0  0  0  0 0 
1  1  1  1  1 1 
2  2  2  2  2 2 

Редактировать

Если столбец содержит только цифры, вы можете также использовать следующий метод. Преобразование в числовое значение с использованием параметра errorscoerce, чтобы произвести NaN для значений, которые невозможно преобразовать. Затем просто снимите значения с помощью dropna.

df.iloc[] = pd.to_numeric(df.iloc[:,4], errors='coerce') 
# Or if you want to apply the transformation to the entire DataFrame 
# df = df.apply(pd.to_numeric, errors='coerce')  
df.dropna(inplace=True) 

     col0 col1 col2 col3 col4 
0  0  0  0  0 0.0 
1  1  1  1  1 1.0 
2  2  2  2  2 2.0