Python - группировка (или цикл) на основе значения столбца (или подмножества)

Question

Я работаю с набором данных, который имеет 3 миллиона строк и 1200 «групп» - назовем их «Последние имена».

Вот то, что набор данных выглядит следующим образом:

LastName FirstName 

Smith  Rachael 
Smith  John 
Smith  Rachael 
Johnson  Bob 
Johnson  Laura 
Johnson  Laura 

Я хочу смотреть на каждую фамилию отдельно, и сделать что-то из первых имен в каждой фамилии. Например, я могу захотеть узнать, какое первое имя является наиболее распространенным в фамилии Смита, а затем добавить это как свой собственный столбец (но на самом деле это намного сложнее, чем это). Мне нужно держать все строки неповрежденными (другими словами, мне нужно держать каждого Смита и каждого Джонсона).

LastName FirstName HighestFreq 

Smith  Rachael  Rachael 
Smith  John  Rachael 
Smith  Rachael  Rachael 
Johnson  Bob   Laura 
Johnson  Laura  Laura 
Johnson  Laura  Laura 

Я не знаю, если это лучший способ разделить набор данных на 1200 наборов данных, а затем объединить вместе в конце или сделать какой-то цикл. Я очень новичок в Python и не смог понять, как это сделать правильно. Я вычислил код, который мне нужен, чтобы посмотреть на отдельные строки, а теперь как смотреть только на одну фамилию за раз.

Кроме того, если подмножество является наилучшим способом, мне нужно будет указать наборы в цикле, поскольку я, очевидно, не буду называть 1 200 наборов данных вручную.

Спасибо за чтение.

Answer 1

Чтобы сохранить длину возвращаемого результата, вы можете использовать transform после groupby, а затем использовать value_counts() функцию с index, чтобы получить наиболее частый элемент в каждой группе:

df['HighestFreq'] = (df.groupby('LastName')['FirstName'] 
         .transform(lambda g: g.value_counts().index[0])) 
df 

Answer 2

Вот только в случае без Pandas (см. ниже с Pandas):

Сортировка файла по категориям, которую вы хотите сгруппировать, с помощью команды Unix или Python сценарий, см. здесь sorting large text data.

Затем перебирайте отсортированный файл и получите показатели, которые вы хотите для каждой категории. Поскольку все экземпляры категории теперь находятся рядом друг с другом, вам нужно только сохранить результат в памяти.

Если вы хотите пропустить сортировку, вы также можете несколько раз перебирать файл (но это может быть медленным). Разумеется, ваша идея сохранить промежуточные результаты на диске.

Расширенное чтение: Это в основном операция уменьшения карты: создание подгрупп обрабатывает их отдельно, а затем объединяет результаты.