Многопоточность, DataReaders & Bulk Inserts ... Может ли это приложение быть многопоточным?

Question

Возможно ли извлечь код внутри моего кода и запустить его в нескольких потоках?

В приложение копирует данные из FoxPro DB на наш SQL сервер по сети (файлы являются довольно огромным, поэтому основная копия должна происходить с шагом ...

Это работает, но я хотел бы поднять вверх по скорости бит.

1) либо имеющей секцию я отмеченную работать в нескольких потоках, или в качестве альтернативы,

2), не цикл через каждый столбец в DataRow,

Я пошел на второй вариант ... (Обновленный код ниже)

КОД

private void BulkCopy(OleDbDataReader reader, string tableName, Table table) 
    { 
     if (Convert.ToBoolean(ConfigurationManager.AppSettings["CopyData"])) 
     { 
      Console.WriteLine(tableName + " BulkCopy Started."); 
      try 
      { 
       DataTable tbl = new DataTable(); 
       foreach (Column col in table.Columns) 
       { 
        tbl.Columns.Add(col.Name, ConvertDataTypeToType(col.DataType)); 
       } 

       int batch = 1; 
       int counter = 0; 

       DataRow tblRow = tbl.NewRow(); 

       while (reader.Read()) 
       { 
        counter++;     
////This section changed 
         object[] obj = tblRow.ItemArray; 
         reader.GetValues(obj); 
         tblRow.ItemArray = obj; 
////********** 
        tbl.LoadDataRow(tblRow.ItemArray, true); 

        if (counter == BulkInsertIncrement) 
        { 
         Console.WriteLine(tableName + " :: Batch >> " + batch); 
         counter = PerformInsert(tableName, tbl, batch); 
         batch++; 
        } 
       } 

       if (counter > 0) 
       { 
        Console.WriteLine(tableName + " :: Batch >> " + batch); 
        PerformInsert(tableName, tbl, counter); 
       } 

       tbl = null; 
       Console.WriteLine("BulkCopy Success!"); 
      } 
      catch (Exception) 
      { 
       Console.WriteLine("BulkCopy Fail!"); 
      } 
      finally 
      { 
       reader.Close(); 
       reader.Dispose(); 
      } 
      Console.WriteLine(tableName + " BulkCopy Ended."); 
     } 
    } 

UPDATE Я пошел за второй вариант

Я не знал, что в то время как внутри время (reader.Read()) цикл, который я мог бы сделать следующие. I't помогли значительно увеличить производительность приложений

while (reader.Read()) 
{ 
    object[] obj = tblRow.ItemArray; 
    reader.GetValues(obj); 
    tblRow.ItemArray = obj; 
    tbl.LoadDataRow(tblRow.ItemArray, true); 
} 

Answer 1

Это не может быть ответа вы после этого, но вы пробовали запустить консольное приложение в режиме выпуска первым, только с одной попыткой заявления, и с помощью индексов на читателя? Вероятно, это не будет сильно увеличивать скорость, делая его многопоточным, поскольку SQL Server станет основным узким местом.

Конечно, если вы не слишком заботитесь о целостности данных (например, ваши идентификаторы не являются последовательными), вы можете изменить тип table locking для вставок и развернуть 3-4 потока для чтения из определенных точек таблицы ,

Answer 2

Я не думаю, что ваш usecase значительно выиграет от параллели для каждого. Также было бы довольно сложно реализовать причину OleDbReader, которая используется в вашем коде.

Но что вы можете сделать, это запланировать вставки в новом потоке, который ваш цикл не будет блокировать в течение времени, которое SQL Server должен будет вставить ваши данные.

Для этого можно использовать Task.Factory.StartNew()method. Но это сделает обработку ошибок более сложной, в том смысле, что при неудачной вставке вы могли бы обработать больше данных или в худшем случае уже есть другой поток, ожидающий новых вставок для базы данных.

Answer 3

Thre не нужно многопоточным, если вы берете ошибки начинающего, которые вы делаете. ТОНЫ медленного кода везде.

tblRow [col.Name] = reader [col.Name];

МЕДЛЕННЫЙ. НИКОГДА не используйте имя - получите индекс за пределами цикла, а затем используйте индексы. Эта строка имеет 2 (!) Словарный поиск для строки eery, занимая больше времени, чем обработка строк.

DataTables/DataSet медленно запускается с самого начала (плохой трехомальный выбор), но такой код действительно медленный.Используйте профилировщик, чтобы увидеть другие плохие элементы.

Answer 4

Если вы используете .NET 4, вы можете попробовать использовать TPL и преобразовать петлю Еогеаспа в нечто вроде

Parallel.ForEach(table.Columns, col => {/*rest of function here */}