Объединение Python Pandas Вывод данных из программы Into One Dataframe

После нескольких недель уточнения этого у меня есть следующий код благодаря удивительным людям на SO, которые производят данные, как мне нужно, но я не уверен, как конкатенировать данные в программе в одну для конечной переменной объекта dataframe. Я просто назначаю оператор concat переменной, тогда я получаю только последний фрейм.Объединение Python Pandas Вывод данных из программы Into One Dataframe

{ 
"zipcode":"08989", 
"current" {"canwc":null,"cig":4900,"class":"observation","clds":"OVC","day_ind":"D","dewpt":19,"expireTimeGMT":1385486700,"feels_like":34,"gust":null,"hi":37,"humidex":null,"icon_code":26,"icon_extd":2600,"max_temp":37,"wxMan":"wx1111"}, 
"triggers":[53,31,9,21,48,7,40,178,55,179,176,26,103,175,33,51,20,57,112,30,50,113] 
} 
{ 
"zipcode":"08990", 
"current":{"canwc":null,"cig":4900,"class":"observation","clds":"OVC","day_ind":"D","dewpt":19,"expireTimeGMT":1385486700,"feels_like":34,"gust":null,"hi":37,"humidex":null,"icon_code":26,"icon_extd":2600,"max_temp":37, "wxMan":"wx1111"}, 
"triggers":[53,31,9,21,48,7,40,178,55,179,176,26,103,175,33,51,20,57,112,30,50,113] 
} 

def lines_per_n(f, n): 
    for line in f: 
     yield ''.join(chain([line], itertools.islice(f, n - 1))) 

def series_chunk(chunk): 
    try: 
     jfile = json.loads(chunk) 
     zipcode = jfile['zipcode'] 
     datetime = jfile['current']['proc_time'] 
     triggers = jfile['triggers'] 
     return pd.Series([jfile['zipcode'], jfile['current']['proc_time'],\ 
          jfile['triggers']]) 
    except ValueError, e: 
     pass 
    else: 
     pass 

for fin in glob.glob('*.txt'): 
    with open(fin) as f: 
     print pd.concat([series_chunk(chunk) for chunk in lines_per_n(f, 5)], axis=1).T

выход из выше программы, которую я должен Concat как один dataframe:

 0    1             2 
0 08988 20131126102946             [] 
1 08989 20131126102946 [53, 31, 9, 21, 48, 7, 40, 178, 55, 179, 176, ... 
     0    1             2 
0 08988 20131126102946             [] 
1 08989 20131126102946 [53, 31, 9, 21, 48, 7, 40, 178, 55, 179, 176, ...

Наконец боролись это в подчинение. Вот окончательный код, который делает то, что мне нужно:

dfs = [] 
for fin in glob.glob('*.txt'): 
    with open(fin) as f: 
     df = pd.concat([series_chunk(chunk) for\ 
      chunk in lines_per_n(f, 7)], axis=1).T 
     dfs.append(df) 

df = pd.concat(dfs, ignore_index=True)

источник

2013-12-19 horatio1701d

см. Здесь: http://pandas.pydata.org/pandas-docs/dev/merging.html#concatenating-objects; просто добавьте df в список, их в список, а затем concat в конце, например. '' result = pd.concat ([list_of_frames]) '' – Jeff

, вы можете сделать это прямо через: http://pandas.pydata.org/pandas-docs/dev/io.html#json (их также является секцией нормализации, доступной в 0.13 для вложенного json) – Jeff

@Jeff Я попытался сделать это и получил «ValueError: смешение dicts с несерией может привести к двусмысленному упорядочению».: S –

Рад, что вы отсортированы. ИМО немного чище способ сделать это как список понимания

def dataframe_from_file(fin): 
    with open(fin) as f: 
     return pd.concat([series_chunk(chunk) for chunk in lines_per_n(f, 7)], 
          axis=1).T 

df = pd.concat([dataframe_from_file(fin) for fin in glob.glob('*.txt')], 
        ignore_index=True)

Примечание: это может быть, что с помощью оси = 1 до конечного CONCAT означает, что вы можете избежать T-ки ранее.

источник

2013-12-20 01:33:46

определенно чище. Спасибо. – horatio1701d

Объединение Python Pandas Вывод данных из программы Into One Dataframe

ответ

Смежные вопросы