Быстрое автоматическое угадывание строк даты

Question

Для огромного количества огромных файлов csv (100M строк +) из разных источников Мне нужен быстрый фрагмент или библиотека, чтобы автоматически угадывать формат даты и преобразовывать его в режим распада или времени unix -печать. Как только успешно догадался, фрагмент должен иметь возможность проверять последующие вхождения поля даты на достоверность, потому что, вероятно, формат даты изменяется по всему файлу.

Тестовый набор форматов даты должен быть переменным, но компиляция оптимального дерева решений или что-то из числа заданных форматов дат прекрасна.

Я пришел к выводу, что ничего подобного не существует, но все же необходимо провести «исследование рынка», следовательно, мой вопрос.

Моя первая попытка состояла в том, чтобы имитировать getdate() для 23 разных форматов дат, которые я наблюдал до сих пор, и заменить парсеры числа оптимизированными версиями, учитывающими характеристики даты (от «4» до «9») в десятидневной части, от «3» до «9» в десятках части месяца и т. д.)

Неужели кто-нибудь сталкивается с подобной проблемой или даже создает код такого рода?

Answer 1

После двух недель чрезмерного просмотра google \ Wweb я пришел к выводу, что я должен сам написать это. FTW, я первый пробовал в этом: http://github.com/hroptatyr/glod

Answer 2

Я имел дело с временными данными датчиков (структурно CSV) в более чем пятидесяти форматах из многочисленных источников с помощью скрипта Perl. Никогда не ограничивался функциональностью, и хотя он был основан на сценарии, он был достаточно быстр (> 10Klines/sec, где строка была ~ 60-100chars) Я реализовал a) проанализируйте первые несколько сотен строк, перемотайте, а затем выполните прогон .. .создать контекст для логики принятия решений. b) испускать ошибочную строку (строки) с номером строки и контекстом ... поэтому в конце прогона можно отредактировать строки нарушения, затем установить их для повторной установки при последующем запуске, чтобы он мог передавать «исправленные», без ошибок, т. е. каждая строка соответствовала бы формату. c) Разница во времени между линиями ... допускается только увеличение временных меток. d) Также я мог бы переформатировать другие вещи, такие как смены единиц, т.е. имперский в СИ. Хотя из лагеря C простой Perl не слишком чуждо, но сделал это намного проще Примечание. Этот метод может касаться таких проблем, как 10/04/05, т.е. DD/MM/YY или MM/DD/YY, если есть достаточно информации в файле