Результирующий набор разделов SQL в куски

Question

При подготовке к пакетному процессу мне нужно разбить группы записей для запуска параллельных потоков задания. Эти записи поступают из таблицы, в которой потенциально могут быть миллионы строк. Моя цель - равномерно разбить эти записи (по первичному ключу) на (приблизительно) даже куски, которые затем могут обрабатываться параллельно. Я хочу динамически выбирать размер куска. Также можно отметить, что могут быть пробелы в последовательности первичных ключей.

Другими словами, учитывая эту таблицу, с предикатом, обозначающим количество блоков и набора результатов предоставления первой и последней последовательности фрагмента:

seq name | 
-------|--------| 
1  | john | 
2  | joe | 
3  | joe | 
4  | joe | 
5  | joe | 
567 | kent | 
568 | katie | 
20000 | sue | 
200016 | jill | 
200027 | bill | 

Я хотел бы получить обратно следующие результаты, где (число-кусках) -> (первый, последний SEQ-сл):

(2) -> (1,5),(567,20027) 
(5) -> (1,2),(3,4),(5,567),(568,20000),(200016,200027) 

Или, как набор результатов, что-то вроде этого (когда просят 5 порций):

 
first_seq last_seq 
-----------|----------| 
    1  | 2  | 
    3  | 4  | 
    5  | 567  | 
    568  | 200000 | 
    20016 | 200027 | 

Я предполагаю, что какая-то функция окна здесь в порядке, но я не знаю, как это решить. Может ли кто-нибудь помочь мне с запросом?

функция

Answer 1

Думайте, что это должно хорошо работать с большинством систем БД.

1) Положите chunk в список полях, чтобы быть более подробным; то же самое для order by

2) разделили последовательность вверх в 10 куски с ... (10/(num_rows + ...

select MIN(seq) as first_seq, MAX(seq) as last_seq, chunk from 
     /*- Basic grouping formula pseudo: #row_chunk_number = round-up((#total_num_chunks/#total_num_rows) x #current_row_num) 
      - The +0.0 is to convert field values to floats 
      - floor() + 1 means the same as rounding up ... and im not sure if ceil() exists on all DB systems. 
     */ 
     (select seq, floor(((10/(num_rows + 0.0)) + 0.0) * (row_num + 0.0)) + 1 as chunk from 
     (select 
      seq, 
      /*`row_num` is the row number in the sequence range - achieved by iteratively counting all sequences smaller than current (assuming seq is unique and numeric).*/ 
      (select COUNT(*) from table1 as b where b.seq < a.seq) as row_num, 
      /*`num_rows` is the number of rows in the sequence range - added to inner query to prevent cluttering the actual math calc in the outer query (same performance).*/ 
      (select COUNT(*) from table1) as num_rows 
     /*dat1 is a derived table of seq (id), num_rows (total number rows) and row_num (row number)*/ 
     from table1 as a) as dat) as dat1 
group by chunk 
order by chunk 

Answer 2

NTILE может работать для вас в Oracle (я не уверен, DB2):

SELECT seq, ntile(2) over (order by seq) chunk_num 
    FROM my_table 

(где 2 это количество порций)

Или, чтобы получить результаты в макет вы описали:

SELECT chunk_num, MIN(seq), MAX(seq) FROM (
    SELECT seq, ntile(2) over (order by seq) chunk_num 
    FROM my_tab 
) 
    GROUP BY chunk_num 

Если количество кусков не равномерно разделить количество строк, это поставит избыток в нижние пронумерованных куски.