Удалить значения NaN из dataframe без fillna или интерполировать

Question

У меня есть набор данных:

  367235 419895 992194 
1999-01-11 8 5 1 
1999-03-23 NaN 4 NaN 
1999-04-30 NaN NaN 1 
1999-06-02 NaN 9 NaN 
1999-08-08 2 NaN NaN 
1999-08-12 NaN 3 NaN 
1999-08-17 NaN NaN 10 
1999-10-22 NaN 3 NaN 
1999-12-04 NaN NaN 4 
2000-03-04 2 NaN NaN 
2000-09-29 9 NaN NaN 
2000-09-30 9 NaN NaN 

Когда я сюжет его, используя plt.plot(df, '-o') я получаю это:

Но то, что я хотел бы это для данных по каждому столбцу, который должен быть подключен по линии:

Я понимаю, что matplotlib не связывает данные, разделенные значениями NaN. Я рассмотрел все варианты here для работы с отсутствующими данными, но все они существенно исказили бы данные в кадре данных. Это связано с тем, что каждое значение в кадре данных представляет собой инцидент; если я попытаюсь заменить NaN скалярными значениями или использовать опцию интерполяции, я получаю кучу точек, которые на самом деле не находятся в моем наборе данных. Вот что интерполировать выглядит следующим образом:

df_wanted2 = df.apply(pd.Series.interpolate)

Если я пытаюсь использовать dropna я потеряю все строки \ столбцов из dataframe, и эти строки держать ценные данные.

Кто-нибудь знает, как подключить мои точки? Я подозреваю, что мне нужно извлечь отдельные массивы из фреймворка и зарисовать их, как это дается here, но это похоже на большую работу (и мой фактический размер данных намного больше.) У кого-нибудь есть решение?

Answer 1

использования interpolate метода с параметром 'index'

df.interpolate('index').plot(marker='o') 

альтернативного ответ

plot после iteritems

for _, c in df.iteritems(): 
    c.dropna().plot(marker='o') 

---

дополнительного кредит
только интерполировать от первого действительного индекса последнего допустимого индекса для каждого столбца

for _, c in df.iteritems(): 
    fi, li = c.first_valid_index(), c.last_valid_index() 
    c.loc[fi:li].interpolate('index').plot(marker='o') 

Answer 2

Попробуйте перебор с apply, а затем внутри функций применяются уронить недостающие значения

def make_plot(s): 
    s.dropna().plot() 

df.apply(make_plot) 

Answer 3

В качестве альтернативы можно аутсорсинг NaN обработки на графике libary Plotly, используя его connectgaps функцию.

import plotly 
import pandas as pd 

txt = """367235 419895 992194 
1999-01-11 8 5 1 
1999-03-23 NaN 4 NaN 
1999-04-30 NaN NaN 1 
1999-06-02 NaN 9 NaN 
1999-08-08 2 NaN NaN 
1999-08-12 NaN 3 NaN 
1999-08-17 NaN NaN 10 
1999-10-22 NaN 3 NaN 
1999-12-04 NaN NaN 4 
2000-03-04 2 NaN NaN 
2000-09-29 9 NaN NaN 
2000-09-30 9 NaN NaN""" 

data_points = [line.split(' ') for line in txt.splitlines()[1:]] 
df = pd.DataFrame(data_points) 

data = list() 
for i in range(1, len(df.columns)): 
    data.append(plotly.graph_objs.Scatter(
     x = df.iloc[:,0].tolist(), 
     y = df.iloc[:,i].tolist(), 
     mode = 'line', 
     connectgaps = True 
    )) 

fig = dict(data=data) 
plotly.plotly.sign_in('user', 'token') 
plot_url = plotly.plotly.plot(fig)