Как эффективно писать данные в базе данных с помощью C#?

Question

мое приложение для Windows читает текстовый файл и вставляет его в базу данных. Проблема в текстовом файле чрезвычайно велика (по крайней мере, для наших младших машин). Он содержит 100 тысяч строк, и требуется время, чтобы записать его в базу данных.

Можете ли вы, ребята, сказать, как я должен эффективно читать и писать данные, чтобы он не зависал машинной памяти? FYI ... Обозначение столбца: '|' Row разделитель: NewLine

Он имеет около 10 колонок .. (Он имеет информацию о клиентах ... как фамилия, имя, адрес, телефоны, электронная почта и т.д.)

считает, что ... Я ОГРАНИЧИВАЯСЬ ​​ОТ ИСПОЛЬЗОВАНИЯ БОЛЬШИХ CMD.

Answer 1

Вы не говорите, какую базу данных вы используете, но если это SQL Server, тогда вы должны заглянуть в команду BULK INSERT или служебную программу BCP.

Answer 2

Учитывая, что нет абсолютно никаких шансов получить помощь от ваших людей, безопасности и с помощью команды BULK, вот такой подход я бы:

1. Убедитесь, что вы в первом чтении весь текстовый файл перед вставкой в базу данных. Таким образом, сокращение ввода-вывода.

2. Проверьте, какие индексы у вас есть в таблице адресатов. Можете ли вы вставить во временную таблицу без индексов или зависимостей, чтобы отдельные вставки были быстрыми?

3. Должны ли эти данные быть видимыми сразу после вставки? Если нет, вы можете иметь запланированное задание для чтения из таблицы temp на шаге 2 выше и вставить в таблицу назначения (имеющую индексы, внешние ключи и т. Д.).

Answer 3

Возможно ли, что вы создали register свою сборку на Sql-сервере? (Я предполагаю, что это sql-сервер, потому что вы уже сказали, что раньше вы использовали встроенную вставку).

Чем вы можете позвонить своей сборке, чтобы сделать (в основном) все, что вам нужно, например, получить файл с какой-либо службы (или что бы вы ни выбрали), разбор и вставка непосредственно в таблицы.

Это не вариант, который мне нравится, но иногда это может быть заставка.