Обработка больших записей в приложении Java EE

Question

Существует стол phonenumbers с двумя колонками: id и number. В таблице около half a million entries. База данных - MySQL.

Требование заключается в разработке простого приложения Java EE, подключенного к этой базе данных, которое позволяет пользователю загружать все значения number в comma separated style, следуя определенному URL-адресу.

Если мы получаем все значения в огромном String array и затем объединяем их (с запятой между всеми значениями) в String, а затем отправляем их пользователю, звучит ли это правильное решение?

Приложение не является общедоступным и будет использоваться ограниченным номером. людей.

Answer 1

Лучше всего, чтобы не хранят данные в памяти Java в любом случае, а просто записывают полученные данные в ответ сразу по мере поступления данных. Вам также необходимо настроить драйвер JDBC MySQL для обслуживания набора результатов по строкам на Statement#setFetchSize() согласно MySQL JDBC driver documentation, иначе он будет хранить в памяти все это в памяти.

Предполагая, что вы знакомы с сервлетов, вот пример стартового который принимает все, что во внимание:

protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { 
    response.setContentType("text/plain"); 
    response.setHeader("Content-Disposition", "attachment;filename=numbers.txt"); // Force download popup. 

    Connection connection = null; 
    Statement statement = null; 
    ResultSet resultSet = null; 
    Writer writer = response.getWriter(); 

    try { 
     connection = database.getConnection(); 
     statement = connection.createStatement(ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); 
     statement.setFetchSize(Integer.MIN_VALUE); 
     resultSet = statement.executeQuery("SELECT number FROM phonenumbers"); 

     while (resultSet.next()) { 
      writer.write(resultSet.getString("number")); 
      if (!resultSet.isLast()) { 
       writer.write(","); 
      } 
     } 
    } catch (SQLException e) { 
     throw new ServletException("Query failed!", e); 
    } finally { 
     if (resultSet != null) try { resultSet.close; } catch (SQLException logOrIgnore) {} 
     if (statement != null) try { statement.close; } catch (SQLException logOrIgnore) {} 
     if (connection != null) try { connection.close; } catch (SQLException logOrIgnore) {} 
    } 
} 

Answer 2

Есть немного больше, чтобы правильно форматировать вывод CSV. Для генерации выходного файла было бы проще использовать существующую библиотеку, например this one.

Вы можете сгенерировать вывод в файл на диске (на веб-сервере), а затем перенаправить браузер в этот файл (с заданием cron или любым другим способом для очистки старых данных) или просто передать результат непосредственно пользователю ,

Если вы потоковом непосредственно быть уверены, и установить тип MIME к чему-то, что будет инициировать загрузку в браузере пользователя (например, текст/CSV или текст/разделители-запятые-значение)

Answer 3

При использовании Mysql 5.1 +, я бы просто использовать собственный синтаксис для дампа файла где-то и поток это в ответ Servlet.

SELECT a,b,a+b INTO OUTFILE '/tmp/result.txt' 
    FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' 
    LINES TERMINATED BY '\n' 
    FROM test_table; 

http://dev.mysql.com/doc/refman/5.1/en/select.html

Для многих записей, если вы все еще хотите использовать JDBC, вы можете попробовать следующее:

• выборки количество записей выборки несколько записей (с помощью запроса ) и напишите их
• , если вы достигнете номера записей в куске, вы получите еще один раз до вы достигаете максимума количество записей