Выбор даты в больших файлах временного ряда csv

Question

Я имею дело с некоторыми большими CSV-файлами. В основном у меня есть два в течение 2009 и 2010 годов. Я читал эти оба: seperatly использует панды, а затем добавляет файл 2010 к концу фреймворка 2009 года.

Для этого я использую функцию:

def import_data(): 
    with open(file_A, 'r') as f: 
     reader = pd.read_csv(f, sep=',', parse_dates=({'Date_Time': [0]})) 
    with open (file_B, 'r') as B: 
     reader2= pd.read_csv(B, sep=',', parse_dates=({'Date_Time': [0]})) 
    reader=reader.append(reader2) 

    return reader 

В принципе, я затем сделать некоторую обработку, передискретизации данных. Однако все это занимает много времени из-за длины файлов.

Есть ли способ выбрать определенные строки на основе определенных входных данных? например только даты 01/10/2009 - 01/02/2010? Даты указаны в первом столбце csv.

Я знаю, что это возможно для колонок с использованием use_cols в pandas.read_csv

Answer 1

Вы пробовали делать их в итераторы?

from itertools import chain 

def import_data(): 
    with open(file_A, 'r') as f: 
     reader = pd.read_csv(f, sep=',', parse_dates=({'Date_Time': [0]}), iterator=True) 
    with open (file_B, 'r') as B: 
     reader2= pd.read_csv(B, sep=',', parse_dates=({'Date_Time': [0]}), iterator=True) 
    return chain(reader, reader2) 

desired_range = [row for row in import_data() if row >= start_date and row <= end_date]