MS-Access: медленные запросы по связанным файлам CSV

У моего доступа 2016 db есть ссылки на несколько файлов CSV, некоторые из которых довольно большие (> 120 МБ). При выполнении сложных запросов в этих файлах CSV скорость слишком медленная, чтобы быть практичной. Я не могу создавать локальные таблицы этих связанных файлов CSV, потому что после каждого цикла запущенных запросов эти файлы CSV обновляются с обновленными данными внешним сервером.MS-Access: медленные запросы по связанным файлам CSV

Что я могу сделать, чтобы ускорить процесс?

источник

2016-08-14 Kashif

Не используйте CSV-файлы для запросов, как объясняет @ThunderFrame. CSV - это текстовые файлы, обычно используемые для переноса/переноса данных через системы или архивирования и не должны использоваться в приложениях. – Parfait

Было бы разумно импортировать данные CSV в локальные временные/промежуточные таблицы. Затем вы можете запускать запросы во временную таблицу, и если запрос должен использовать соединения или очень сложный, вы можете, по мере необходимости, использовать индексы во временной таблице.

Как только вы закончите запрашивать данные, вы можете усечь или отбросить временные таблицы.

источник

2016-08-14 14:08:06 ThunderFrame

Я вроде как знал этот трюк, но проблема в том, что размер файла базы данных очень быстро доходит до 2 ГБ, а автоматическое уплотнение db непросто – Kashif

Временные таблицы не обязательно должны находиться в одной и той же базе данных. Вы не получаете всю скорость, но связанные таблицы доступа быстрее, чем связанные CSV-файлы. – ThunderFrame

, даже если я создаю новый db для временных таблиц; если я буду переписывать их, это новые воздушные шары размера db и необходимо регулярно уплотнять, иначе он перестанет работать на 2 ГБ. – Kashif

Другой вариант заключается в нагрузки (не точно так же, как импорта) файлы CSV в MySQL:

Import CSV File Into MySQL Table

Это очень быстрый процесс - близко к простая копия файла.

Затем используйте MyODBC для подключения к экземпляру MySQL через ODBC.

источник

2016-08-14 17:52:31 Gustav

Когда MySQL пришел в разговор? – dbmitch

Учитывая требования/ограничения, это кажется хорошим подходом. – Andre

MS-Access: медленные запросы по связанным файлам CSV

ответ

Смежные вопросы