Загрузка больших данных в SQL Server [BCP] с использованием Python

Question

После сканирования очень больших ежедневных журналов событий с использованием регулярного выражения мне приходится загружать их в базу данных SQL Server. Мне не разрешено создавать временный файл CSV, а затем использовать BCP командной строки для загрузки их в базу данных SQL Server.

Используя Python, можно ли использовать потоки BCP для загрузки данных в базу данных SQL Server? Причина, по которой я хочу использовать BCP, заключается в улучшении скорости вставки в базу данных SQL Server.

Благодаря

Answer 1

BCP API доступен только с помощью ODBC интерфейс уровня вызовов и управляемых SqlClient .NET API с помощью класса SqlBulkCopy. Я не знаю расширения Python, которое обеспечивает доступ к BCP API.

Вы можете вставить несколько строк в одну транзакцию для повышения производительности. Это может быть выполнено путем пакетной обработки отдельных инструкций вставки или путем одновременного передачи нескольких строк с использованием параметра XML (что также уменьшает округление).