класс java.lang.OutOfMemoryError при сохранении данных в базе данных Oracle

Question

У меня есть лист excel, содержащий около 25 000 строк. Каждая строка в листе excel будет рядом с моей таблицей. Я попытался сделать следующее, и это просто заставляет меня отдавать память из исключения. Я попытался изменить пакетный размер с 25 до 50, 100, 500. Ни один из них не работает. Может ли кто-нибудь сказать мне, что я делаю неправильно? изменение размера кучи JVM для меня не является вариантом.

public void saveForecast(List list) throws FinderException{ 
    final Session session = getCurrentSession(); 
    final int batchSize = 25; 
    Connection con = null; 
    PreparedStatement pstmt = null; 
    Iterator iterator = list.iterator(); 
    int rowCount = list.size(); 
    String sqlStatement = "INSERT INTO DMD_VOL_UPLOAD (ORIGIN, DESTINATION, DAY_OF_WEEK, EFFECTIVE_DATE, DISCONTINUE_DATE, VOLUME)"; 
    sqlStatement += " VALUES(?, ?, ?, ?, ?, ?)"; 
    System.out.println(sqlStatement); 
    System.out.println("Number of rows to be inserted: "+ rowCount); 
    System.out.println("Starting time: "+new Date().toString()); 
    try{ 
     con = session.connection(); 
     for(int i=0; i<rowCount; i++){ 
      ForecastBatch forecastBatch = (ForecastBatch) iterator.next();    
      pstmt = con.prepareStatement(sqlStatement);    
      pstmt.setString(1, forecastBatch.getOrigin()); 
      pstmt.setString(2, forecastBatch.getDestination()); 
      pstmt.setInt(3, forecastBatch.getDayOfWeek()); 

      java.util.Date effJavaDate = forecastBatch.getEffectiveDate(); 
      java.sql.Date effSqlDate = new java.sql.Date(effJavaDate.getTime());     
      pstmt.setDate(4, effSqlDate);    
      java.util.Date disJavaDate=forecastBatch.getDiscontinueDate(); 
      java.sql.Date disSqlDate = new java.sql.Date(disJavaDate.getTime()); 

      pstmt.setDate(5, disSqlDate);    
      pstmt.setInt(6, forecastBatch.getVolumeSum()); 

      pstmt.addBatch(); 
      if(i % batchSize == 0){ 
       pstmt.executeBatch(); 
       session.flush(); 
       session.clear(); 
      } 
     } 
     pstmt.executeBatch(); 
     pstmt.close(); 
     System.out.println("Ending Time: "+ new Date().toString()); 
    }catch(SQLException e){ 
     e.printStackTrace(); 
     throw new FinderException(e); 
    } 
    finally{ 
     HibernateUtil.closeSession(); 
    } 
} 

}

Answer 1

Вы создаете новый оператор внутри своего цикла, но только закрываете последний оператор после окончания цикла. Это означает, что вы на самом деле создаете 25000 операторов и закрываете только один, оставляя открытыми 24999 заявления, что я не удивлен, это приводит к тому, что у вас заканчиваются ресурсы.

Кроме того, вы не используете операторы партии правильно (вам нужно будет создать инструкцию один раз, затем установить параметры, вызвать addBatch, установить дополнительные параметры, снова вызвать addBatch и т. Д., А затем вызвать executeBatch, когда вы хотите, чтобы представить все значения в пакете

EDIT:.

вы, вероятно, это исправить, переместив вызов prepareStatement непосредственно перед циклом, и я не думаю, что вызов сеанс вровень/ясно необходим либо

Answer 2

Ваша главная проблема, кажется, что вы вновь готовит заявление для каждой строки. Вы должны готовить заявление один раз. Это, вероятно, приведет к потреблению огромного объема памяти.