Импорт файла SAS на SQL Server с использованием массовой загрузки

Question

У меня есть 25 миллионов записей, которые нужно импортировать на SQL Server каждую неделю. У меня есть пакет SSIS, который в настоящее время загружает данные, но для загрузки требуется почти 10 часов. Я хотел бы использовать Bulk Insert, но у него нет возможности использовать файлы SAS.

Я ценю, если кто-нибудь может мне помочь в этом.

Спасибо, ramamosn

Answer 1

Узким, вероятно, в интервале фиксации. по умолчанию он выполняет каждые 1000 - 10 000 в зависимости от базы данных. В вашем libname установите dbcommit= на большее значение. Я бы начал с 100 000. Если вы используете dbcommit=0, он выполнит только одну фиксацию. Другой вариант, чтобы установить это bulkload=yes

ваш код будет выглядеть примерно так:

libname sqlsrv user=scott password=tiger ... bulkload=yes dbcommit=100000; 
    data sqlsrv.mydata; 
     set mydata; 
    run; 

Вот ссылка на документацию: http://support.sas.com/documentation/cdl/en/acreldb/69039/HTML/default/viewer.htm#p00lgy3xwh61b8n16kffwq3veagu.htm