Удаление строк в кадре данных pandas после оценки всех столбцов

Question

У меня очень большие панды DataFrame (> 100 миллионов строк и> 1000 столбцов). Каждая строка имеет уникальную метку в качестве индекса, для большинства строк только один столбец содержит значение. Я хочу создать новый DataFrame, удалив эти строки, только один из столбцов имеет значение, и сохранение этих строк с более чем двумя столбцами имеет значения.

Answer 1

Вы можете оставить их с помощью dropna:

In [3]: 
#sample df 
df = pd.DataFrame({'a':[0,NaN, 2,3,4], 'b':[0,NaN, 2,3,NaN], 'c':arange(5)}) 
df 

Out[3]: 
    a b c 
0 0 0 0 
1 NaN NaN 1 
2 2 2 2 
3 3 3 3 
4 4 NaN 4 
In [5]: 
# drop just the rows which have 2 or more NaN values 
df.dropna(thresh=2, axis=0) 
Out[5]: 
    a b c 
0 0 0 0 
2 2 2 2 
3 3 3 3 
4 4 NaN 4 

Вы пройти Params thresh=2, чтобы указать, что требуется по крайней мере, 2 значения, не NA, и axis=0 определит, что критерии должны быть применены по рядам.