Удаление строк на основе значений в столбце в python

Question

Я выполняю очистку данных в CSV-файле для выполнения аналитики. Я пытаюсь удалить строки, имеющие нулевые значения в своем столбце в python.

Пример файла:

Unnamed: 0 2012 2011 2010 2009 2008 2005 
0 United States of America 760739 752423 781844 812514 843683 862220 
1 Brazil 732913 717185 715702 651879 649996 NaN 
2 Germany  520005 513458 515853 519010 518499 494329 
3 United Kingdom (England and Wales) 310544 336997 367055 399869 419273 541455 
4 Mexico 211921 212141 230687 244623 250932 239166 
5 France 193081 192263 192906 193405 187937 148651 
6 Sweden 87052 89457 87854 86281 84566 72645 
7 Romania  17219 12299 12301 9072 9457 8898 
8 Nigeria  15388 NaN  18093 14075 14692 NaN 

До сих пор используется:

from pandas import read_csv 
link = "https://docs.google.com/spreadsheets......csv" 
data = read_csv(link) 
data.head(100000) 

Как я могу удалить эти строки?

Answer 1

После того, как у вас есть данные загружены вам просто необходимо, чтобы выяснить, какие строки удалить:

bad_rows = np.any(np.isnan(data), axis=1) 

Тогда:

data[~bad_rows].head(100) 

Answer 2

Вы должны использовать метод dropna, чтобы удалить эти значения. Переходя в how='any' в метод в качестве аргумента будет удалить строку, если любой из значений null и how='all' будет только удалить строку, если все из значения null.

cleaned_data = data.dropna(how='any') 

Edit 1.

Стоит отметить, что вы не можете иметь, чтобы создать копию очищенных данных. (Т.е. cleaned_data = data.dropna(how='any').

Для экономии памяти можно передать в inplace вариант, который будет изменять исходный DataFrame и вернуть None.

data.dropna(how='any', inplace=True) 
data.head(100)