выбирать строки, сравнивая столбцы с помощью HDFStore

Question

Как выбрать несколько строк, сравнив два столбца из файла hdf5 с помощью Pandas? Файл hdf5 слишком велик для загрузки в память. Например, я хочу выбрать строки, где столбец A и столбцы B равны. Файловый кадр сохраняется в файле 'mydata.hdf5'. Благодарю.

import pandas as pd 
store = pd.HDFstore('mydata.hdf5') 
df = store.select('mydf',where='A=B') 

Это не работает. Я знаю, что store.select ('mydf', где = 'A == 12') будет работать. Но я хочу, чтобы сравнить столбец A и B. Пример данных выглядит следующим образом:

A B C 
1 1 3 
1 2 4 
. . . 
2 2 5 
1 3 3 

Answer 1

Вы не можете напрямую сделать это, но следующие будут работать

In [23]: df = DataFrame({'A' : [1,2,3], 'B' : [2,2,2]}) 

In [24]: store = pd.HDFStore('test.h5',mode='w') 

In [26]: store.append('df',df,data_columns=True) 

In [27]: store.select('df') 
Out[27]: 
    A B 
0 1 2 
1 2 2 
2 3 2 

In [28]: store.select_column('df','A') == store.select_column('df','B') 
Out[28]: 
0 False 
1  True 
2 False 
dtype: bool 

Это должно быть довольно эффективным.