Эффективный способ импорта данных Excel в SQLite db в VB.Net

Question

Я создаю приложение VB.Net, которое хранит данные в бэкэнд SQLite. Данные поступают в Excel-книги, которые пользователь может импортировать. Каждая рабочая книга имеет один рабочий лист (около 30 000 строк), который немного переформируется и импортируется в новую таблицу. Каков наиболее эффективный способ сделать это?

Я сейчас читаю во всем диапазоне от Excel в 2D-массив. Зацикливание по строкам в этом массиве и добавление каждой строки в длинный SQL-оператор, который выполняется каждые тысячи строк. Но это очень медленно, как при циклическом переходе через бит массива, так и при нажатии на шаг SQLite. Я не могу не думать, что должно быть более эффективное средство для этого.

Спасибо,

код ниже: «Сначала откройте XLS reformater книгу и прочитать в наших данных Dim xlApp Как Новый Excel.Application Dim xlWorkBook Как Excel.Workbook Dim xlWorkSheet Как Excel.Worksheet

xlWorkBook = xlApp.Workbooks.Open(strFile) 
    xlWorkSheet = xlWorkBook.Worksheets("ToDSS") 

    Dim r As Excel.Range = xlWorkSheet.UsedRange 
    Dim array(,) As Object = r.Value(Excel.XlRangeValueDataType.xlRangeValueDefault) 

    xlWorkBook.Close() 
    xlApp.Quit() 

    releaseObject(xlApp) 
    releaseObject(xlWorkBook) 
    releaseObject(xlWorkSheet) 

    SQLconnect.Open() 
    SQLcommand = SQLconnect.CreateCommand 

    'now loop through the rows inserting each into the db 

    Dim curDate As Date 

    strSQL = "" 
    Dim batch As Integer = 0 

    For row As Integer = 16 To array.GetUpperBound(0) 
     strSQL += "INSERT INTO scenario_" & strScenarioName & " VALUES ('" 
     curDate = array(row, 1) 
     strSQL += curDate.ToString("yyyy'-'MM'-'dd") + "'" 

     For col = 2 To 30 
      strSQL += ", " & array(row, col) 

     Next 
     strSQL += ");" & vbCrLf 

     If batch > 1000 Or row = array.GetUpperBound(0) Then 
      Debug.Print(Str(row)) 
      SQLcommand.CommandText = strSQL 
      SQLcommand.ExecuteNonQuery() 
      Debug.Print("pushed") 
      strSQL = "" 
      batch = 0 
     Else 
      batch += 1 
     End If 

    Next 
    SQLcommand.Dispose() 
    SQLconnect.Close() 

Answer 1

Экспортировать в формате csv и использовать массовую загрузку.

Answer 2

Возможно, немного вокруг, но вы можете импортировать свой файл в Access вместо Excel и затем экспортировать в SQLite.

Там есть драйвер ODBC для SQLite:

http://www.ch-werner.de/sqliteodbc/

С помощью этого вы можете экспортировать от доступа к SQLite. Вот пример того, как это сделать из графического интерфейса. Мое предположение основано на том, что это программируется или может быть автоматизировано (возможно, из VBA).

http://support.microsoft.com/kb/200427

Я предполагаю, что это даст вам минимальные параметры форматирования, но оно должно быть достаточно чистый (и непосредственным) способом сделать это. Водитель с открытым исходным кодом, поэтому вы можете расширить его, если вы достаточно владеете C. C.