Самый быстрый способ добавить данные в базу данных

Question

Привет, ребята, у меня есть 5 довольно больших файлов excel (800 000 строк каждый), которые я импортирую в базу данных sql. Я написал инструмент, чтобы сделать это, но я импортирую по одной строке за один раз из одной таблицы за другой, которая занимает около 15 часов, и так как это нужно делать раз в месяц, я хотел бы знать, что является самым быстрым способом сделать это.

Быстро ли работает сразу пять импортных импортных товаров, но на разную временную таблицу и их слияние, или просто быстрее вставлять и обновлять, а объемная вставка увеличивает скорость вообще?

Большое спасибо

Answer 1

Попробуйте использовать команду BCP. Это обычно быстрее, чем обычные вставки.

bcp {dbtable | query} {in | out | queryout | format} datafile 

[-n native type] [-c character type] [-S server name] [-U username] 

[-P password] [-T trusted connection] 

Также проверьте, имеет ли таблица, в которую вы импортируете, индексы. Попробуйте отказаться от индексов и вставить данные.

Answer 2

В sql-сервере есть команда bcp. Это открывает утилиту именно для этой цели.

Import and Export Bulk Data by Using the bcp Utility (SQL Server)

Answer 3

Объемный метод вставки будет быстрее всего. Обычно достигается скорость миллионов записей в минуту, но многое зависит от количества столбцов, размера строк, аппаратного обеспечения. и т. д.

Командная строка BCP Утилита и инструкция T-SQL BULK INSERT не поддерживают файлы Excel изначально, но могут обрабатывать текстовые файлы с разделителями. Возможно, вы захотите использовать пакет служб интеграции SQL Server, который может импортировать файлы Excel напрямую и использовать метод массовой вставки, когда указан параметр быстрой загрузки. Если вы еще не использовали SSIS, есть немного кривой обучения. Другой альтернативой является использование SqlBulkCopy из приложения .NET.

SQL Server массовая вставка данных потока, поэтому нет жесткого ограничения на количество записей в партии. Для очень больших файлов обычно выполняется массовая вставка несколькими партиями, чтобы уменьшить требования к журналу журнала транзакций, когда операция полностью зарегистрирована.