Как вставить записи быстрее

Question

Мне нужно прочитать записи из файла CSV и сохранить их в базе данных Mysql.

Я знаю о «LOAD DATA INFILE», но в моем случае мне нужно получить отдельную запись из файла, проверить, находится ли он в допустимом формате/длине и т. Д., А затем сохранить его в базе данных.

// list to store records from CSV file 
ArrayList<String> list = new ArrayList<String>(); 

//Read one line at a time 
while ((nextLine = reader.readNext()) != null) 
{ 
    for (String number : nextLine) 
    { 
     if (number.length() > 12 && number.startsWith("88")) 
     {   
     list.add(number); 
     } else if (number.length() > 9 && number.startsWith("54")) 
     { 
     list.add(number); 
     } 
     else if (number.length() > 8 && number.startsWith("99")) 
     { 
     list.add(number); 
     } 
     else 
     { 
     // .... 
     } 

     // method to insert data in database 
     insertInToDatabase(list);      
    } 
} 

и способ вставки записи в БД: taken from here

private void insertInToDatabase(ArrayList<String> list) 
{ 
    try 
    { 
     String query = "INSERT INTO mytable(numbers) VALUES(?)"; 

     prepStm = conn.prepareStatement(query); 

     for (String test : list) 
     { 
      prepStm.setString(1, test); 

      prepStm.addBatch();// add to batch 
      prepStm.clearParameters(); 
     } 

     prepStm.executeBatch(); 
    } 
} 

Это работает, но скорость, с которой записи вставив очень медленно. Есть ли способ, с помощью которого я могу быстрее вставлять записи.

Answer 1

@ ответ Khanna111 это хорошо.

Я не знаю, помогает ли она, но попробуйте проверить тип двигателя стола. Однажды я столкнулся с проблемой, в которой записи вставляются очень медленно. Я изменил двигатель от InnoDB до MyISAM, и вставка очень быстро.

Answer 2

Я думаю, что лучший подход - обработать файл csv с определенными правилами, а затем создать еще один csv из него, и как только будет готов выход csv. do load data infile.

будет довольно быстро.

Answer 3

Если вы хотите вставить через свое приложение, создайте пакетный запрос, подобный этому, и выполните на сервере MySQL.

String query = "INSERT INTO mytable(numbers) 
       VALUES (0), 
         (1), 
         (2), 
         (3)"; 

Answer 4

Вы должны использовать: «rewriteBatchedStatement», как это MYSQL оптимизация, которая пытается сократить обращений к серверу путем объединения вставки или обновления, как несколько пакетов, как это возможно.

Пожалуйста, обратитесь к: https://anonymousbi.wordpress.com/2014/02/11/increase-mysql-output-to-80k-rowssecond-in-pentaho-data-integration/

Кроме того, есть других оптимизаций, а в этой статье. Надеюсь, что это ускорит дозирование.

EDIT 1: Существует ясное объяснение этого параметра на этом сайте, а также: смотрите: MySQL and JDBC with rewriteBatchedStatements=true