groupby.sum() разреженная матрица в пандах или SciPy: ищу производительность

Question

У меня есть следующий набор данных: df

import numpy.random 
import pandas 

cat = pandas.Series(numpy.random.random_integers(0,400,1000000)) 
ids = pandas.Series(numpy.random.random_integers(0,10000,1000000)) 
team = pandas.Series(numpy.random.random_integers(0,1,1000000)) 
df = pandas.concat([ids,cat,team],axis=1) 
df.columns = ['ids','cat','team'] 

Обрати внимание, что есть только 400 различные категории в cat колонки. Соответственно, я хочу подготовить набор данных для классификации машинного обучения, т. Е. Создать один столбец для каждого отдельного значения категории от 0 до 400, а для каждой строки - записать 1, если идентификатор имеет соответствующую категорию, а 0 в противном случае. Моя цель состоит в то, чтобы сделать GroupBy ids и просуммировать 1 для каждой категории колонке следующим образом:

df2 = pandas.get_dummies(df['cat'], sparse=True) 
df2['ids'] = df['ids'] 
df3 = df2.groupby('ids').sum() 

Моя проблема заключается в том, что groupby.sum() очень и очень долго, слишком долго (более 30 минут). Поэтому мне нужна другая стратегия, чтобы сделать мои расчеты. Вот вторая попытка.

from sklearn import preprocessing 
import numpy 

text_encoder = preprocessing.OneHotEncoder(dtype=numpy.int) 
X = text_encoder.fit_transform(df.drop(['team','ids'],axis=1).values).astype(int) 

Но тогда, X является разреженным SciPy матрица. Здесь у меня есть два варианта: либо найти способ groupby.sum() эффективно на этой редкой SciPy матрицы, или преобразовать его в реальную матрицу Numpy с .toarray() следующим образом:

X = X.toarray() 
df2 = pandas.DataFrame(X) 
df2['ids'] = df['ids'] 
df3 = df2.groupby('ids').sum() 

Сейчас проблема заключается в том, что много памяти теряется из-за .toarray(). И groupby.sum(), безусловно, занимает много памяти.

Так что мой вопрос: есть ли умный способ решить мою проблему, используя SPARSE MATRIX с ЭФФЕКТИВНЫМ ВРЕМЕНИ для groupby.sum()?

Answer 1

EDIT: На самом деле это работа для pivot_table(), так как только ваша df создана:

df_final = df.pivot_table(cols='cat', rows='ids', aggfunc='count') 
df_final.fillna(0, inplace = True) 

Для записи, но бесполезно: после моего замечания по этому вопросу:

import numpy.random 
import pandas 
from sklearn import preprocessing 

cat = pandas.Series(numpy.random.random_integers(0,400,1000000)) 
ids = pandas.Series(numpy.random.random_integers(0,10000,1000000)) 
team = pandas.Series(numpy.random.random_integers(0,1,1000000)) 
df = pandas.concat([ids,cat,team],axis=1) 
df.columns = ['ids','cat','team'] 

df.sort('ids', inplace = True) 

text_encoder = preprocessing.OneHotEncoder(dtype=numpy.int) 
X = text_encoder.fit_transform(df.drop(['team','ids'],axis=1).values).astype(int) 

se_size = df.groupby('ids').size() 

ls_rows = [] 
row_ind = 0 
for name, nb_lines in se_size.iteritems(): 
    ls_rows.append(X[row_ind : row_ind + nb_lines,:].sum(0).tolist()[0]) 
    row_ind += nb_lines 
df_final = pandas.DataFrame(ls_rows, 
          index = se_size.index, 
          columns = text_encoder.active_features_)