Какой самый быстрый способ импортировать 15000000 записей из текстового файла в SQL Server?Самый быстрый способ импорта?
В настоящее время я импортирую данные с помощью Enterprise Manager, который занимает 3-4 часа для импорта в таблицу SQL.
Заранее благодарен!
Пробег: bcp utility or BULK INSERT statement. BULK INSERT должно быть faster.
С использованием SSIS существует опубликованный бенчмарк, который loads 2.36TB per hour. Есть трюки, которые вы можете сделать, например, разделить синтаксический анализ и разгрузить нагрузку на отдельные прослушивающие порты NUMA. Также важны котировки статей, соответствующие типам столбцов в SSIS.
+1 к ответу Мехрдада. Просто хотелось добавить, если у вас есть индексы на таблице, в которую вы пытаетесь загрузить, это повлияет на скорость загрузки, поскольку они должны быть сохранены. Возможно, вам лучше удалить или отключить эти индексы во время импорта.
SSIS отлично подходит для импорта данных из гетерогенных и сложных источников, но для простых текстовых файлов CSV я сомневаюсь, что он может бить прямое вложение. Я сильно подозреваю, что он использует тот же материал под капотом. –
Нет пыли pixie, сервер имеет определенные API для доступа, и SSIS должен соответствовать им: INSERT и BULK INSERT. Но по таким крупным задачам, как 3-4 часа, если они регулярные, есть трюки, которые можно сделать, особенно вокруг размазывания задач синтаксического анализа текста. Обычно их проще выполнять в SSIS. –