Трансформации сделок Numpy массива

Question

У меня есть список ежедневных транзакционных данных в следующем формате:

люди, Артикул, transDate, количество

Я хотел бы суммировать столбец суммы лица и Артикулом и преобразуйте мои результаты в массив numpy. Я отбрасываю поле даты. У меня есть 1,5 ГБ данных, поэтому более эффективно, я могу сделать это, тем лучше ...

Вот небольшой пример того, как я хотел бы алгоритм, чтобы пойти:

print input 
A, 1, 2013-10-10, .5 
A, 1, 2013-10-18, .75 
A, 2, 2013-10-20, 2.5 
B, 1, 2013-10-09, .25 
B, 2, 2014-10-20, .8 

myArray = transform(input) 
print myArray 
[[1.25,2.5],[.25,.8]] 

Любые мысли о том, как эффективно суммировать эти записи, будем очень благодарны!

EDIT: Вот мой код до сих пор:

from collections import defaultdict 

dictObj = {} 

rawData = 'subset.txt' 

with open(rawData) as infile: 
for line in infile: 
    parts = line.split(',') 
    key = (parts[0],parts[1]) 
    val = float(parts[3]) 
    if key in dictObj: 
     dictObj[key] += val 
    else: 
     dictObj[key] = val 
print dictObj 

Answer 1

Как сказал @DSM, это операция является выглядит как работа для pandas:

>>> from StringIO import StringIO 
>>> import pandas as pd 
>>> data = '''A, 1, 2013-10-10, .5 
... A, 1, 2013-10-18, .75 
... A, 2, 2013-10-20, 2.5 
... B, 1, 2013-10-09, .25 
... B, 2, 2014-10-20, .8''' 
... 
>>> df = pd.read_csv(StringIO(data), names=['person','itemCode','transDate','amount'], skiprows=0) 
>>> df 
    person itemCode transDate amount 
0  A   1 2013-10-10 0.50 
1  A   1 2013-10-18 0.75 
2  A   2 2013-10-20 2.50 
3  B   1 2013-10-09 0.25 
4  B   2 2014-10-20 0.80 
>>> grouped = df.groupby(['person']) 
>>> res = df.groupby(['person']).apply(lambda x: pd.Series(x.groupby('itemCode').sum()['amount'])) 
>>> res 
itemCode  1 2 
person    
A   1.25 2.5 
B   0.25 0.8 

Результатом является pandas.DataFrame, но если вы хотите чтобы получить его в виде массива numpy, вы можете использовать атрибут :

>>> res.values 
array([[ 1.25, 2.5 ], 
     [ 0.25, 0.8 ]])