Querying Python Pandas DataFrame с индексом или столбцом Datetime

Question

Итак, я новичок в пакете Pandas. Я делал несколько тестов на стратегию ETF, что мне нужно сделать много запросов в Pandas Dataframe.

Так скажем, я эти два DataFrames, ДФ и df1, единственное отличие состоит в том, что: ДФ имеет DateTime индекс, в то время как df1 имеет метку в виде столбца и целого индекса

In[104]: df.head() 
Out[104]: 

         high  low open close volume openInterest 
2007-04-24 09:31:00 148.28 148.12 148.23 148.15 2304400  341400 
2007-04-24 09:32:00 148.21 148.14 148.14 148.19 2753500  449100 
2007-04-24 09:33:00 148.24 148.13 148.18 148.14 2863400  109900 
2007-04-24 09:34:00 148.18 148.12 148.13 148.16 3118287  254887 
2007-04-24 09:35:00 148.17 148.14 148.16 148.16 3202112   83825 

In[105]: df1.head() 
Out[105]: 

       dates high  low open close volume openInterest 
0 2007-04-24 09:31:00 148.28 148.12 148.23 148.15 2304400  341400 
1 2007-04-24 09:32:00 148.21 148.14 148.14 148.19 2753500  449100 
2 2007-04-24 09:33:00 148.24 148.13 148.18 148.14 2863400  109900 
3 2007-04-24 09:34:00 148.18 148.12 148.13 148.16 3118287  254887 
4 2007-04-24 09:35:00 148.17 148.14 148.16 148.16 3202112   83825 

так я могу проверить скорость выполнения запросов немного:

In[100]: %timeit df1[(df1['dates'] >= '2015-11-17') & (df1['dates'] < '2015-11-18')] 
%timeit df.loc[(df.index >= '2015-11-17') & (df.index < '2015-11-18')] 
%timeit df.loc['2015-11-17'] 
100 loops, best of 3: 4.67 ms per loop 
100 loops, best of 3: 3.14 ms per loop 
1 loop, best of 3: 259 ms per loop 

к моему удивлению, является то, что с помощью логики, построенной с использованием пандами является фактически самым медленным:

df.loc['2015-11-17'] 

Кто-нибудь знает, почему? И есть ли какие-либо документы или блоги о наиболее эффективных способах запроса Pandas DataFrame?

Answer 1

Если бы я тебя, я хотел бы использовать более простой метод:

df['2015-11-17'] 

на мой взгляд, это было бы более «панды логики», чем при использовании .loc[] для одной даты. Я предполагаю, что это также быстрее.

тестирование на минуту OHLC dataframe:

%timeit df.loc[(df.index >= '2015-11-17') & (df.index < '2015-11-18')] 
%timeit df.loc['2015-11-17'] 
%timeit df['2015-11-17'] 

100 loops, best of 3: 13.8 ms per loop 
1 loop, best of 3: 1.39 s per loop 
1000 loops, best of 3: 486 us per loop