Развернуть dataframe со словарями

Question

У меня есть dataframe, который содержит в основном NaN, но также словари в определенных записях. Моя цель - расширить эти словари до столбцов кадра данных и сохранить их записи по их соответствующим индексам. Это то, на что похожа небольшая часть данных.

                 _id _score 
query               
chrM:g.146T>C               NaN NaN 
chrM:g.11723C>T               NaN NaN          NaN NaN 
chrM:g.11813A>G               NaN NaN 
chrM:g.12140T>A               NaN NaN 
...                  ... ...  
chr1:g.11976370T>G   {u'ref': u'T', u'alleles': [{u'allele': u'T', ... NaN 
chr1:g.12007164A>G              NaN NaN 
chr1:g.12007165A>G              NaN NaN 

До сих пор, я только что удалось подобрать ключи каждого Dict и добавить столбцы, названные с этими ключами:

s ={} 
for cols in cols: 
    if type(data1[cols].dropna()[0]) == type(s): 
     cols_var = np.array(data1[cols].dropna()[0].keys()) 
     data1 = pandas.concat([data1,pandas.DataFrame(columns=cols_var)]) 

Любая помощь или советы о том, как сделать это в эффективной и читаемый будет высоко оценен.

** EDIT: ** этот код:

y = pandas.Series((dbsnp.iloc[0])) 
print y 

однако получает что-то несколько полезным:

allele_origin     unspecified 
alleles       [{u'allele': u'G'}, {u'allele': u'A'}]  
alt        A 
...        ... 
rsid        rs201327123 
vartype       snp 
dtype: object 

Постараюсь работать здесь, другой вход высоко ценится.

Answer 1

Чтобы расширить словарь в виде данных с несколькими столбцами, вы должны указать apply функцию, которая возвращает словарь в виде серии pandas. Для этого сначала необходимо удалить значения NaN.

Начнем с отдельной колонки: s = data1['_id'].dropna(). Ниже будет возвращать расширенный dataframe сделанный из словарей:

expanded_df = s.apply(lambda row: pandas.Series(row)) 

Это делает использование лямбда-функции (т.е. встроенный), который преобразует словарь в серию. Теперь вы можете объединить расширенную dataframe с исходной:

pandas.concat([data1, expanded_df], axis=1) 

concat функция будет соответствовать строки по индексу, и положить NaN значения для отсутствующих индексов в expanded_df. Удобно, что это будут именно те строки, которые вы удалили с dropna на первом этапе.

Теперь вы можете сделать это для всех столбцов в data1 путем итерации по столбцам, как вы делали первоначально, или с помощью apply по адресу data1.