Pandas DataFrame/HDFStore Pass Несколько форматов даты через CSV

Question

Я делаю следующее, чтобы передать несколько дат в разных столбцах. Однако второй столбец столбца (времени) не соответствует этой строке, поэтому он имеет ошибки. Как мне это достичь?

dateparse = lambda x: pd.datetime.strptime(x, '%d/%m/%Y %H:%M:%S') 

for chunk in pd.read_csv(file, chunksize=500000, parse_dates=['date','time'], parse_dates = dateparse, names = col_names, index_col = index_cols, header = 0, dtype = dtype) 
     store.append('df',chunk) 

Образец данных:

Date      Time 
19/10/2016 00:00:00  00:05:01 

Answer 1

Там нет необходимости указывать DATETIME формат, если у вас есть стандартный формат, как '19/10/2016 00:00:00' - Панды будет разбирать его автоматически, так что вам не нужно использовать date_parser параметр ,

Вариант 1: Конвертирование Time колонка datetime64[ns] DTYPE:

for chunk in pd.read_csv(file, chunksize=500000, parse_dates=['Date'], names=col_names, index_col=index_cols, dtype = dtype): 
    chunk['Time'] = chunk['Date'].dt.normalize() + pd.to_timedelta(chunk['Time']) 
    store.append('df',chunk) 

Вариант 2: Преобразование Time колонка timedelta64[ns] DTYPE:

for chunk in pd.read_csv(file, chunksize=500000, parse_dates=['Date'], names=col_names, index_col=index_cols, dtype = dtype): 
    chunk['Time'] = pd.to_timedelta(chunk['Time']) 
    store.append('df',chunk) 

PS как упоминалось dtypes поддерживаются HDFStore

Вариант 3:

for chunk in pd.read_csv(file, chunksize=500000, names=col_names, index_col=index_cols, dtype = dtype): 
    chunk['Date'] = pd.to_datetime(chunk['Date'], errors='coerce') 
    chunk['Time'] = pd.to_timedelta(chunk['Time'], errors='coerce') 
    store.append('df',chunk) 

Answer 2

Вы можете сказать, панды объединить даты и времени столбцов в один столбец, передавая список списков, а не просто список в parse_dates, как указано в the documentation:

parse_dates: булевы или список целых чисел или имен или списка списков или Dict, по умолчанию значение False

• boolean. Если True -> попробуйте разобрать индекс.
• Список целых чисел или имен. например Если [1, 2, 3] -> попытаться разобрать столбцы 1, 2, 3 каждый в качестве отдельного столбца даты.
• список перечней. например Если [[1, 3]] -> объединить столбцы 1 и 3 и разобрать как столбец с одной датой. dict, т.е. { «Foo»: [1, 3]} -> синтаксического анализа столбцов 1, 3, как и даты вызова результата «Foo»

Вы также хотите, чтобы указать dayfirst=True учитывая ваш формат даты.

Это означает, что ваш код становится

for chunk in pd.read_csv(file, chunksize=500000, 
         parse_dates=[['date', 'time']], # note the extra [] 
         dayfirst=True, 
         names=col_names, index_col=index_cols, 
         header=0, dtype=dtype) 
    store.append('df',chunk)