Производительность вставки в JDBC

Question

Мне нужно вставить пару сотен миллионов записей в mysql db. Я участвую в выпуске 1 миллион за один раз. См. Мой код ниже. Кажется, он медленный. Есть ли способ его оптимизировать?

try { 
     // Disable auto-commit 
     connection.setAutoCommit(false); 

     // Create a prepared statement 
     String sql = "INSERT INTO mytable (xxx), VALUES(?)"; 
     PreparedStatement pstmt = connection.prepareStatement(sql); 

     Object[] vals=set.toArray(); 
     for (int i=0; i<vals.length; i++) { 
      pstmt.setString(1, vals[i].toString()); 
      pstmt.addBatch(); 
     } 

     // Execute the batch 
     int [] updateCounts = pstmt.executeBatch(); 
     System.out.append("inserted "+updateCounts.length); 

Answer 1

Вы можете вставить несколько строк с одной вставкой заявления, делая несколько тысяч, в то время может значительно ускорить процесс, то есть, вместо того, чтобы делать, например, 3 вставки формы INSERT INTO tbl_name (a,b,c) VALUES(1,2,3);, вы делаете INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(1,2,3),(1,2,3); (Возможно, JDBC .addBatch() делает подобную оптимизацию сейчас - хотя mysql addBatch раньше была не оптимизирована и просто выдавала отдельные запросы в любом случае - я не знаю, все ли это случай с последними драйверами)

Если вам действительно нужна скорость, загрузите свои данные из файла с разделителями-запятыми LOAD DATA INFILE, мы получим ускорение в 7-8 раз, что делает десятки миллионов вставок.

Answer 2

Если:

1. Это новая таблица, или сумма, подлежащая вставлено больше, то уже вставленных данных
2. Есть индексы таблицы
3. Вам не нужен другой доступ к стол во вставке

Тогда ALTER TABLE tbl_name DISABLE KEYS может значительно улучшить скорость ваших вставок. Когда вы закончите, запустите ALTER TABLE tbl_name ENABLE KEYS, чтобы начать создавать индексы, что может занять некоторое время, но не так долго, как делать это для каждой вставки.

Answer 3

Вы можете попробовать использовать объект DDBulkLoad.

// Get a DDBulkLoad object 
DDBulkLoad bulkLoad = DDBulkLoadFactory.getInstance(connection); 
bulkLoad.setTableName(“mytable”); 
bulkLoad.load(“data.csv”); 

Answer 4

У меня была аналогичная проблема производительности с MySQL и решить ее, установив useServerPrepStmts а также rewriteBatchedStatements свойства в связи URL.

Connection c = DriverManager.getConnection("jdbc:mysql://host:3306/db?useServerPrepStmts=false&rewriteBatchedStatements=true", "username", "password"); 

Answer 5

Я хотел бы расширить ответ на вопрос Бертиля, поскольку я экспериментировал с параметрами URL-адреса соединения.

rewriteBatchedStatements=true является важным параметром. useServerPrepStmts по умолчанию уже является ложным, и даже изменение его на значение true не влияет на производительность пакетной вставки.

Теперь я думаю, что настало время написать, как rewriteBatchedStatements=true значительно улучшает производительность. Он делает это на rewriting of prepared statements for INSERT into multi-value inserts when executeBatch() (Source). Это означает, что вместо того, чтобы посылать следующие n операторы INSERT в MySQL сервер каждый раз, когда executeBatch() называется:

INSERT INTO X VALUES (A1,B1,C1) 
INSERT INTO X VALUES (A2,B2,C2) 
... 
INSERT INTO X VALUES (An,Bn,Cn) 

Было бы отправить один оператор INSERT:

INSERT INTO X VALUES (A1,B1,C1),(A2,B2,C2),...,(An,Bn,Cn) 

Вы можете наблюдать его, переключив на ведение журнала mysql (по SET global general_log = 1), в которое будет входить в файл каждый оператор, отправленный на сервер mysql.

Answer 6

try { 
     // Disable auto-commit 
     connection.setAutoCommit(false); 
     int maxInsertBatch = 10000;  
     // Create a prepared statement 
     String sql = "INSERT INTO mytable (xxx), VALUES(?)"; 
     PreparedStatement pstmt = connection.prepareStatement(sql); 

     Object[] vals=set.toArray(); 
     int count = 1; 
     for (int i=0; i<vals.length; i++) { 
      pstmt.setString(1, vals[i].toString()); 
      pstmt.addBatch(); 
      if(count%maxInsertBatch == 0){ 
       pstmt.executeBatch(); 
      } 
      count++; 
     } 

     // Execute the batch 
     pstmt.executeBatch(); 
     System.out.append("inserted "+count);