Как вставить 800000 записей в таблицу MS Access?

Question

Мне нужно вставить 800000 записей в таблицу MS Access. Я использую Delphi 2007 и компоненты TAdoXxxx. Таблица содержит некоторые целочисленные поля, одно поле с плавающей точкой и одно текстовое поле с одним символом. Существует первичный ключ на одном из целочисленных полей (который не является автоинкрестным) и двух индексов на другом целом и поле с плавающей запятой.

Вставка данных с использованием AdoTable.AppendRecord(...) занимает> 10 минут, что неприемлемо, поскольку это делается каждый раз, когда пользователь начинает использовать новую базу данных с программой. Я не могу предварительно заполнить таблицу, потому что данные поступают из другой базы данных (которая недоступна через ADO).

мне удалось получить вплоть до около 1 минуты, записывая записи на вкладку разделенных текстовый файл и с помощью tAdoCommand объекта для выполнения

insert into table (...) select * from [filename.txt] in "c:\somedir" "Text;HDR=Yes" 

Но я не люблю накладные расходы этого.

Должен быть лучший способ, я думаю.

EDIT:

Некоторая дополнительная информация:

• MS Access был выбран потому, что он не нуждается в какой-либо дополнительной установки на целевой машине (ы) и всей базе данных содержится в одном файле, который может легко копироваться.
• Это однопользовательское приложение.
• Данные будут вставляться только один раз и не будут меняться в течение всего срока службы базы данных. Хотя таблица содержит одно дополнительное поле, которое используется как флаг, чтобы указать, что соответствующая запись в другой базе данных была обработана пользователем.
• 1 минута приемлемый (до 3 минут будет слишком), и мое решение работает, но мне кажется слишком сложным, поэтому я подумал, что должен быть более простой способ сделать это.
• После того, как данные были вставлены, производительность таблицы довольно хорошая.
• Когда я начал планировать/реализовывать функцию программы, работающей с базой данных Access, таблица не требовалась. Это стало необходимо позже, когда клиент запросил другую функцию. (Разве это не всегда так?)

EDIT:

Из всех ответов я получил до сих пор, кажется, что я уже получил самый быстрый метод для вставки, что много данных в таблицу Access. Спасибо всем, я ценю вашу помощь.

Answer 1

Ваше текстовое решение кажется самым быстрым, но вы можете получить его быстрее, если сможете получить предварительно выделенный MS Access в размере, близком к концу. Вы можете сделать это, заполнив типичную пользовательскую базу данных, закрыв приложение (чтобы буферы были сброшены) и вручную удалили все записи этой большой таблицы, но не сокращали/не уплотняли его.

Итак, используйте этот файл, чтобы начать реальное заполнение. Доступ не потребует дополнительного (или очень небольшого) дополнительного дискового пространства. Не помните, если у MS Access есть способ автоматизировать это, но это может помочь ...

Answer 2

Это будет быстрее без индексов. Можете ли вы добавить их после импорта?

Есть целый ряд предложений, которые могут представлять интерес в этой теме Slow MSAccess disk writing

Answer 3

Вы ищете в правильном направлении в одну сторону. Использование одного оператора для массовой вставки будет быстрее, чем пытаться перебирать данные и вставлять их по строкам. Доступ, являющийся файловой базой данных, будет чрезвычайно медленным в итеративной записи.

Проблема заключается в том, что Access обрабатывает то, как он оптимизирует запись внутри, и на самом деле нет никакого способа контролировать его. Вероятно, вы достигли максимальной эффективности инструкции INSERT. Для дополнительной скорости вы, вероятно, должны оценить, есть ли способ записи 800 000 записей в базу данных при каждом запуске приложения.

Answer 4

Получить SQL Server Express (бесплатно) и подключиться к нему через доступ к внешней таблице. SQL Express намного быстрее, чем MS Access.

Answer 5

Поскольку вы сказали, что данные записи 800K не будут меняться в течение срока службы базы данных, я бы предложил ссылку на текстовый файл в виде таблицы и вообще пропустить вставку.

Если вы настаиваете на том, чтобы потянуть его в базу данных, то 800 000 записей за 1 минуту превышают 13 000 секунд. Я не думаю, что вы побьете это в MS Access.

Если вы хотите, чтобы он был более восприимчивым к пользователю, вы можете захотеть загрузить некоторый минимальный набор данных и настроить фоновый поток, чтобы загрузить остальные, пока они работают.

Answer 6

Возможно, вы можете открыть набор записей ADO для таблицы с режимом блокировки adLockBatchOptimistic и CursorLocation adUseClient, записать все данные в набор записей, затем выполнить пакетное обновление (rs.UpdateBatch).

Answer 7

Как насчет альтернативной конструкции ...

Будет ли возможность сделать копию существующего файла базы данных Access, который имеет эту таблицу вам нужно, а затем просто удалить все остальные данные там, кроме этого большая таблица (не знаю, имеет ли Access эквивалент что-то вроде «обрезать таблицу» на SQL-сервере)?

Answer 8

Также проверьте, сколько времени требуется, чтобы скопировать файл. Это будет нижняя граница того, как быстро вы можете записывать данные. В db, как SQL, обычно требуется утилита для массовой загрузки, чтобы приблизиться к этой скорости. Насколько мне известно, MS никогда не создавала инструмент для прямого доступа к таблицам MS Access, как это делает bcp. Специализированные инструменты ETL также будут оптимизировать некоторые шаги, связанные с вставкой, например, как SSIS делает преобразования в памяти, DTS также имеет некоторые оптимизации.

Answer 9

Я бы предварительно заполнил базу данных и передал им сам файл, вместо того, чтобы заполнять существующую (но пустую) базу данных.

Если данные необходимо заполнить, сохраните базу данных доступа ODBC (файл MDB), синхронизированную на сервере, используя бит кода, чтобы увидеть изменения в основной базе данных и скопировать их в базу данных доступа.

Когда пользователь запрашивает новую базу данных, заархивируйте MDB, передайте ее им и откройте.

Кроме того, вы можете найти код, который открывает и вставляет данные в базы данных напрямую.

В качестве альтернативы, вы можете найти другой формат (кроме csv), доступ к которому может быстрее импортироваться.

-Adam

Answer 10

Если это идет от DBase, вы можете просто скопировать данные и индексные файлы и прикрепить непосредственно без загрузки? Должно быть довольно эффективно (от людей, которые приносят вам FoxPro.) Я предполагаю, что он также будет использовать существующие индексы.

По крайней мере, это должен быть довольно эффективный импорт одной команды.

Answer 11

Как пропустить текстовый файл и использовать ODBC или OLEDB для импорта напрямую из исходной таблицы? Это означало бы изменение предложения FROM для использования имени исходной таблицы и соответствующей строки подключения как IN '' части предложения FROM.

EDIT: На самом деле, я вижу, вы говорите, что исходный формат - это xBase, поэтому должно быть возможно использовать ISA xBase, который является частью Jet, а не ODBC или OLEDB. Это будет выглядеть примерно так:

INSERT INTO table (...) 
SELECT * 
FROM tablename IN 'c:\somedir\'[dBase 5.0;HDR=NO;IMEX=2;]; 

Вы, возможно, придется настроить что - я просто схватил строку соединения для связанной таблицы, указывая на файл DBF, так что параметры могут немного отличаться.

Answer 12

Сколько стоит 800 000 записей от одного творения к другому? Можно ли предварительно заполнить записи, а затем просто обновить те, которые были изменены во внешней базе данных при создании новой базы данных?

Это может позволить вам быстрее создать новый файл базы данных.

Answer 13

Я бы заменил MS Access другой базой данных, и для вашей ситуации я вижу, что Sqlite - лучший выбор, он не требует установки на клиентскую машину, и это очень быстрая база данных и одно из лучших встроенных решений для баз данных.

Вы можете использовать его в Delphi двумя способами:

1. Вы можете скачать Dll двигателя базы данных с Sqlite сайта и использовать компонент Free Delphi для доступа к нему, как Delphi SQLite components или SQLite4Delphi

2. Использование DISQLite3 которые имеют встроенный двигатель, и вам не нужно распространять dll с вашим приложением, у них есть бесплатная версия ;-)

Если вам все еще нужно использовать MS Access, попробуйте использовать TAdoCommand с SQL Insert statment напрямую, вместо использования TADOTable, который должен быть быстрее, чем использование TADOTable.Append;

Answer 14

Как быстро поворачивается ваш диск? Если это 7200 об/мин, то 800 000 строк за 3 минуты по-прежнему составляют 37 строк на оборот диска. Я не думаю, что вы сделаете гораздо лучше.

Между тем, если целью является оптимизация процесса, как насчет ссылки на таблицу?

Вы говорите, что вы не можете получить доступ к исходной базе данных через ADO. Можете ли вы настроить ссылку таблицы в MS Access на таблицу или представление в исходной базе данных? Затем простой запрос append из ссылки на таблицу скопировал бы данные из исходной базы данных в целевую базу данных для вас. Я не уверен, но я думаю, что это будет довольно быстро.

Если вы не можете настроить ссылку на таблицу до выполнения, возможно, вы могли бы программно создать ссылку на таблицу через ADO, а затем запрограммировать запрос добавления, а затем вызвать запрос append.

Answer 15

HI Лучшим способ массовая вставка из текстового файла, как они сказали, что вы должны вставить свою запись в текстовом файле, то основная часть вставки текстового файла в таблицу , что время должно быть меньше, чем на 3 секунды.

Answer 16

Вы не будете импортировать 800 000 записей менее чем за минуту, как упоминалось выше; это действительно быстро уже.

Вы можете пропустить раздражающий шаг перевода к тексту, однако, если вы используете правильный метод (DAO recordsets) для выполнения вставок. См. Предыдущий вопрос, который я задал, и ответил на StackOverflow: MS Access: Why is ADODB.Recordset.BatchUpdate so much slower than Application.ImportXML?

Не используйте INSERT INTO даже с DAO; это медленно. Не используйте ADO; это медленно. Но DAO + Delphi + Recordsets +, создавая экземпляр объекта COM DbEngine напрямую (вместо объекта Access.Application), даст вам много скорости.