Фильтрация строк из фрейма данных pandas с использованием конкатенированных строк

Question

У меня есть набор данных pandas плюс серия идентификаторов pandas и вы хотите отфильтровать строки из фрейма данных, соответствующие идентификаторам в серии. Чтобы получить идентификаторы из фрейма данных, мне нужно объединить его первые два столбца. Я пробовал различные вещи для фильтрации, но пока никто не работает. Вот что я пробовал:

1) Я попробовал добавить столбец булевых данных в фрейм данных, будучи истинным, если эта строка соответствует одному из идентификаторов и false в противном случае (надеясь, что после этого можно будет фильтровать, используя новый столбец):

df["isInAcids"] = (df["AcNo"] + df["Sortcode"]) in acids 

где

acids 

является серия, содержащий идентификаторы.

Однако это дает мне

TypeError: unhashable type 

2) Я пытался фильтрации с помощью функции применения:

df[df.apply(lambda x: x["AcNo"] + x["Sortcode"] in acids, axis = 1)] 

Это не дает мне ошибку, но длина кадра данных остается неизменным, поэтому он не фильтрует ничего.

3) Я добавил новый столбец, содержащий последовательно соединенные струнные/идентификаторы, а затем попытаться отфильтровать впоследствии (см Filter dataframe rows if value in column is in a set list of values):

df["ACIDS"] = df["AcNo"] + df["Sortcode"] 
df[df["ACIDS"].isin(acids)] 

Но опять же, dataframe не меняется.

Я надеюсь, что это имеет смысл ...

Любые предложения, где я мог бы быть неправильно? Спасибо, Anne

Answer 1

Я думаю, что вы просите что-то вроде следующего:

In [1]: other_ids = pd.Series(['a', 'b', 'c', 'c']) 

In [2]: df = pd.DataFrame({'vals': [1, 2, 3, 4], 'ids': ['a', 'b', 'c', 'f']}) 

In [3]: df 
Out[3]: 
    ids vals 
0 a  1 
1 b  2 
2 c  3 
3 f  4 

In [4]: other_ids 
Out[4]: 
0 a 
1 b 
2 c 
3 c 
dtype: object 

В этом случае ряд other_ids будет как ваш серии acids. Мы хотим выбрать только те строки из df, чьи id в серии other_ids. Для этого мы будем использовать метод dataframe.isin().

In [5]: df.ids.isin(other_ids) 
Out[5]: 
0  True 
1  True 
2  True 
3 False 
Name: ids, dtype: bool 

Это дает столбец BOOLS, что мы можем индекс в:

In [6]: df[df.ids.isin(other_ids)] 
Out[6]: 
    ids vals 
0 a  1 
1 b  2 
2 c  3 

Это близко к тому, что вы делаете с вашим 3 попытки. После публикации образца вашего фрейма данных я могу отредактировать этот ответ, если он не работает уже.

Чтение немного больше, у вас могут возникнуть проблемы, потому что у вас есть два столбца в df, которые являются вашими идентификаторами?Dataframe не имеет isin метод, но мы можем обойти это что-то вроде:

In [26]: df = pd.DataFrame({'vals': [1, 2, 3, 4], 'ids': ['a', 'b', 'f', 'f'], 
'ids2': ['e', 'f', 'c', 'f']}) 

In [27]: df 
Out[27]: 
    ids ids2 vals 
0 a e  1 
1 b f  2 
2 f c  3 
3 f f  4 

In [28]: df.ids.isin(ids) + df.ids2.isin(ids) 
Out[28]: 
0  True 
1  True 
2  True 
3 False 
dtype: bool 

True, как 1 и False подобен нулю, поэтому мы добавим два булево серию из двух isins(), чтобы получить что-то вроде Операция OR. Тогда, как и раньше, мы можем индекс в этой булевой серии:

In [29]: new = df.ix[df.ids.isin(ids) + df.ids2.isin(ids)] 

In [30]: new 
Out[30]: 
    ids ids2 vals 
0 a e  1 
1 b f  2 
2 f c  3