Получить строки по группам MySQL Java

Question

У меня есть большой объем данных, и мне нужно обработать их по группам. Наличие на картинке:

Как получить их по группам? (Сначала получите группу 1, процесс. Затем получите группу 2, процесс .. и т. Д.). Группировка основана на столбце pos, который должен быть равен.

Я читал ссылки на выполнение базового соединения в одной таблице, но это невозможно для меня, так как он возвращает очень большой набор данных, который приведет к OutOfMemoryError.

Answer 1

Вам понадобятся два курсора, один для выбора отдельных групп, другой для обработки каждой группы отдельно.

//Assuming you have a Connection conn; 
PreparedStatement groupsPS = 
    conn.prepareStatement("SELECT distinct pos from yourtable"); 
ResultSet groupsRS = groupsPS.executeQuery(); 
PreparedStatement groupdataPS = 
    conn.prepareStatement("SELECT * from yourtable where pos = ?"); 
ResultSet groupdataRS = null; 

while(groupsRS.next()) 
{ 
    groupdataPS.setString(1, groupsRS.getString("pos")); 
    groupdataRS = groupdataPS.executeQuery(); 
    while(groupsRS.next()) 
    { 
     //process your data here 
    } 
    groupdataRS.close(); 
} 
groupsRS.close(); 
groupdataPS.close(); 
groupsPS.close(); 

Answer 2

У вас есть два варианта:

1. перепишите SQL, чтобы убедиться, что вы получите меньшие результирующих и прочитать все данные в джонки.
2. Используйте прокручиваемыйРезультаты. Это позволяет получить строку за строкой, не загружая весь набор результатов в память.

Answer 3

Так же, как то, что упомянуто @TimeKiller и @BetaRide, я перестроенный мои таблицы SQL и добавил таблицу индексации для моих поз с его частотой в другой колонке.

Используя это, можно просто итерацию через каждые поз с частотой> = 2, получают строки в таблице выше с выбранными поз, и обрабатывать их.

Спасибо!