Драйвер Impala ODBC для множественной вставки

Question

У меня проблема с несколькими вставками через odbc Impala (последняя версия).

Я пытаюсь вставить две тысячи строк в таблице Impala (на Cloudera) с 4-мя колоннами, но я получаю две ошибки:

[Cloudera] [SQLEngine] (31580) Длина заявления превышает максимальная: 16384. [Cloudera] [ImpalaODBC] (110) ошибка при выполнении запроса в Impala: [HY000]: AnalysisException: Синтаксическая ошибка в строке 1: ...

Я использую запрос параметризованных запрос:

INSERT INTO name_table (a,b,c,d) VALUES (?,?,?,?) , (?,?,?,?) , .... 

Теперь мой вопрос:

Есть ли способ вставить миллионы строк с помощью драйвера odbc без использования отдельных вставок?

спасибо.

Answer 1

В настоящий момент для запроса имеется максимум 16384 символов, что должно быть похоже на гораздо более высокий предел. В настоящее время мы изучаем, есть ли причина для этого низкого предела.

Тем не менее, более эффективный способ вставки нескольких значений через ODBC будет использовать запрос:

INSERT INTO name_table (a,b,c,d) VALUES (?,?,?,?)

, а затем использовать связывание для связывания нескольких наборов параметров в параметры массива. Таким образом, драйвер может оптимизировать выполнение внутри, и вы не выполняете ограничение длины запроса. Вы уже пробовали это?

Answer 2

Я уже пытался выполнить следующий код:

 OdbcCommand oComm = oConn.CreateCommand(); 

     StringBuilder sb = new StringBuilder(); 


     sb.AppendFormat("INSERT INTO {0}.{1} (a,b,c,d) VALUES (?,?,?,?)", dbName, tableName); 



     List<OdbcParameter> psl = new List<OdbcParameter>(1000 * 4); 

     for (int i = 0; i < 1000; i++) 
     { 

      var odbcParameter = new OdbcParameter(); 
      odbcParameter.ParameterName = "@a"; 
      odbcParameter.OdbcType = OdbcType.Text; 
      odbcParameter.Value ="a"+i; 
      psl.Add(odbcParameter); 

      odbcParameter = new OdbcParameter(); 
      odbcParameter.ParameterName = "@b"; 
      odbcParameter.OdbcType = OdbcType.Text; 
      odbcParameter.Value = "b" + i; 
      psl.Add(odbcParameter); 

      odbcParameter = new OdbcParameter(); 
      odbcParameter.ParameterName = "@c"; 
      odbcParameter.OdbcType = OdbcType.Text; 
      odbcParameter.Value = "c" + i; 
      psl.Add(odbcParameter); 

      odbcParameter = new OdbcParameter(); 
      odbcParameter.ParameterName = "@d"; 
      odbcParameter.Value = "d" + i; 
      odbcParameter.OdbcType = OdbcType.Text; 
      psl.Add(odbcParameter); 


     } 


     oComm.Parameters.AddRange(psl.ToArray()); 

     oComm.CommandText = sb.ToString(); 

     oComm.executeNonQUery(); 

В конце концов, моя таблица состоит только из одной записи со значениями Первые четыре параметра.

В коде отсутствует что-то неправильное?

Спасибо.