Объединение столбцов из двух dataframes панд и показывая источник для каждой строки

Question

У меня есть две панды dataframes:

import pandas as pd 
a = pd.DataFrame({'key' : [123, 234, 345, 456] }) 
b = pd.DataFrame({'key' : [  234, 345, 456, 567 ] }) 

Что я хочу сделать, это объединить их в единую dataframe с двумя колоннами: одна key, объединение обоих; а другой source, список которых из двух исходных данных содержит указанный ключ.

Для приведенного выше входа, я хочу это:

+---+-----+--------+ 
| | key | source | 
+---+-----+--------+ 
| 0 | 123 | [a] | 
| 1 | 234 | [a, b] | 
| 2 | 345 | [a, b] | 
| 3 | 456 | [a, b] | 
| 4 | 567 | [b] | 
+---+-----+--------+ 

У меня есть реализация, которая работает, но (я представляю себе) является чудовищно медленно для больших таблиц:

union = set(a.key) 
union.update(b.key) 
union_series = pd.Series(data=sorted(list(union))) 

def append_ifin_src(urow, acc, (name, src)): 
    acc.extend([name] if len(src[src==urow]) != 0 else []) 
    return acc 

source_series = union_series.apply(lambda urow : reduce(lambda acc, tocheck : append_ifin_src(urow, acc, tocheck), [('a', a.key), ('b', b.key)], [])) 

pd.DataFrame({ 'key' : union_series, 'source' : source_series }) 

Что лучший способ сделать это?

Answer 1

А «Панды» способ сделать это было бы первым продвигать столбцы индексов:

aa = pd.DataFrame(['a']*len(a), index=a.key, columns=['a']) 
bb = pd.Series(['b']*len(b), index=b.key, name='b') 

, а затем присоединиться к ним и вычисление нового столбца:

aa.join(bb, how='outer')\ 
    .fillna('')\ 
    .apply(lambda x: x['a'] + x['b'], axis=1) 

Я также хотел бы попробовать чистое решение python, если начальный порядок не имеет значения:

def source(key): 
    if key in sa and key in sb: 
     return '[a, b]' 
    if key in sa: 
     return '[a]' 
    if key in sb: 
     return '[b]' 

sa = set(a.key) 
sb = set(b.key) 
pd.DataFrame([[key, source(key)] 
       for key in sa.union(sb)], 
       columns=['key', 'source'])  
Out[99]: 
key source 
0 456 [a, b] 
1 234 [a, b] 
2 567 [b] 
3 345 [a, b] 
4 123 [a] 

В моих быстрых тестах чистый питон был в 6 раз быстрее, но вы должны проверить свои данные.

Answer 2

import pandas as pd 

a = pd.DataFrame({'key' : [123, 234, 345, 456], 
        'source': ['a','a','a','a'] }) 
b = pd.DataFrame({'key' : [  234, 345, 456, 567 ], 
        'source': ['b','b','b','b']}) 

df = a.merge(b, how='outer', on='key').fillna("") 
df['source'] = df['source_x'] +df['source_y'] 
df[['key', 'source']] 

Добавление столбца к оригинальным dataframes еще одна идея ...

Answer 3

Если добавление столбца не вариант вы можете использовать np.in1d после слияния. Это больше всего подходит, но у вас есть пустые строки для удаления.

df = pd.merge(a, b, how='outer') 
df['source'] = zip(np.where(np.in1d(df, a), 'a', ''), 
        np.where(np.in1d(df, b), 'b', '')) 

    key source 
0 123 (a,) 
1 234 (a, b) 
2 345 (a, b) 
3 456 (a, b) 
4 567 (, b)