Воспользуйтесь несколькими ядрами, выполняющими операторы SQL

Question

У меня есть небольшое приложение, которое читает XML-файлы и вставляет информацию о SQL DB.

Есть ~ 300 000 файлов для импорта, каждый из которых имеет 1000 записей.

Я начал приложение на 20% файлов, и он работает в течение 18 часов, надеюсь, я смогу улучшить это время для остальных файлов.

Я не использую многопоточный подход, но поскольку компьютер, на котором я запускаю процесс, имеет 4 ядра, я думал об этом, чтобы добиться некоторого улучшения производительности (хотя, я думаю, главная проблема заключается в том, ввод-вывод, а не только обработка).

Я думал об использовании метода BeginExecutingNonQuery() для объекта SqlCommand, который я создавал для каждой вставки, но я не знаю, следует ли ограничить максимальное количество одновременных потоков (и я не знаю, как это сделать).

Каков ваш совет, чтобы получить лучшее использование ЦП?

Благодаря

Answer 1

Посмотрите на bulk insert.

Импортирует файл данных в таблицу базы данных или просматривать в указанном пользователем формате.

Answer 2

Вы пытались использовать SqlBulkCopy? В основном, вы загружаете свои данные в экземпляр DataTable, а затем используете класс SqlBulkCopy для загрузки его на SQL Server. Если вы предлагаете ОГРОМНОЕ повышение производительности без каких-либо изменений в текущем процессе, как использование bcp или другой утилиты.

Answer 3

Если вы правильно поняли, вы читаете эти файлы на том же компьютере, на котором запущена база данных. Хотя я мало знаю о вашей машине, я уверен, что ваше узкое место - диск IO. Это звучит не очень интенсивно для меня.