Python Разделить данные на несколько файлов с правилом

Question

Мне нужна идея, чтобы решить мою проблему в python, чтобы разделить файл.

I более 1.000.000 строк в файле с двумя столбцами: «accountid» и «property». Один «accountid» может иметь несколько свойств, но каждое свойство является одной строкой. Выглядит примерно так: Example

Мне нужно разбить эти данные на 50 000 строк на файл (что не является проблемой). Тем не менее, я один файл также допускает только 50 «свойств» на «учетную запись». И много имеют более 50 объектов.

У вас есть идея как технически решить эту проблему? Я не требую какого-либо кода;)

Благодаря

Flo

Answer 1

Вот одно решение, которое приходит на ум:

Сначала вы должны определить, сколько разделов вы будете нуждаться, основываясь на два параметра X и Y. X определяется счетчиком с максимальным количеством свойств. Предположим, что accountid = 7 имеет максимальное количество свойств, равное 270 свойствам. Это означает, что вам понадобится как минимум 6 разделов, чтобы гарантировать, что решение существует там, где ни один из разделов не будет содержать более 50 из acountid = 7 строк (на основе принципа pigeonhole). Y определяется общим количеством строк, которые у вас есть, и размерами каждого раздела (в вашем примере Y - 1000 000/50 000 = 20). Мы берем максимум X и Y как количество необходимых нам разделов. В этом случае: количество разделов = max (6, 20) = 20.

Теперь вы сортируете всю таблицу с помощью учетной записи. Предположим, мы знаем номер строки для каждой строки. Затем мы определим раздел k как:

P_k = {row | row_number % 20 = k} 

Это должно удовлетворить оба ваших требования.

Обратите внимание, что если max (X, Y) = X, вам придется разрешить некоторые разделы с менее чем 50K строк. В противном случае нет решения этой проблемы.