pandas read_csv конвертировать объект в float

Question

Я пытаюсь прочитать файл csv. в одном столбце (hpi), который должен быть float32, есть две записи, заполненные a. для указания отсутствующих значений. Панда интерпретирует. как персонаж.

Как сделать числовое число в этой колонке?

data = pd.read_csv('http://www.fhfa.gov/DataTools/Downloads/Documents/HPI/HPI_AT_state.csv', 
        header=0, 
        names = ["state", "year", "qtr", "hpi"]) 

        #,converters={'hpi': float}) 

#print data.head() 
#print(data.dtypes) 

print(data[data.hpi == '.']) 

Answer 1

Используйте na.values параметр в read.csv:

df = pd.read_csv('http://www.fhfa.gov/DataTools/Downloads/Documents/HPI/HPI_AT_state.csv', 
        header=0, 
        names = ["state", "year", "qtr", "hpi"], 
        na_values='.') 

df.dtypes 
Out: 
state  object 
year  int64 
qtr  int64 
hpi  float64 
dtype: object 

Answer 2

Вы можете просто бросить это после того, как прочитаете его.

data.loc[data.hpi == '.', 'hpi'] = pd.np.nan 
data.hpi = data.hpi.astype(pd.np.float64) 

В качестве альтернативы вы можете использовать параметр na_values для read_csv

Answer 3

Нанести to_numeric на нужную колонку (с apply):

data.loc[data.hpi == '.', 'hpi'] = -1.0 
data[['hpi']] = data[['hpi']].apply(pd.to_numeric) 

Например:

In[69]: data = pd.read_csv('http://www.fhfa.gov/DataTools/Downloads/Documents/HPI/HPI_AT_state.csv', 
        header=0, 
        names = ["state", "year", "qtr", "hpi"]) 

In[70]: data[['hpi']].dtypes 
    Out[70]: 
    hpi object 
    dtype: object 

In[74]: data.loc[data.hpi == '.'] = -1.0 
In[75]: data[['hpi']] = data[['hpi']].apply(pd.to_numeric) 

In[77]: data[['hpi']].dtypes 
Out[77]: 
hpi float64 
dtype: object 

EDIT:

почему-то меняет все столбцы float64. Это небольшое обходное решение, которое изменяет их на int.

До:

In[89]: data.dtypes 
Out[89]: 
state  object 
year  float64 
qtr  float64 
hpi  float64 

После:

In[90]: data[['year','qtr']] = data[['year','qtr']].astype(int) 
In[91]: data.dtypes 
Out[91]: 
state  object 
year  int64 
qtr  int64 
hpi  float64 
dtype: object 

Если кто-то может пролить свет на пути случается, что было бы здорово.