Python: lil_matrix vs csr_matrix в чрезвычайно больших разреженных матрицах

Question

Я хочу поэтапно построить чрезвычайно большую разреженную матрицу. Проблема в том, что lil_matrix занимает так много ОЗУ, что становится неэффективным. Например, если я хочу создать 20 миллионов x 20 миллионов lil_matrix, он полностью ударит мою RAM. С другой стороны, csr_matrix едва занимает пространство. Однако csr_matrix якобы неэффективен для модификаций. Есть ли другой способ получить преимущество lil_matrix, не занимая столько места в ОЗУ? Кроме того, почему он занимает столько места, в первую очередь, поскольку он должен быть разреженной матрицей?

Примечание: Реальная проблема на самом деле не создает такую ​​большую матрицу, но вместо того, чтобы создавать следующие list:

list = [sp.lil_matrix((150,150)) for i in range(1000)] 

который также взрывает мой RAM.

Answer 1

Я не претендую на полный ответ, но я упал, как будто вы попадете туда, если посмотрите на внутреннюю матрицу.

In [12]: s = sparse.csr_matrix((5,5)) 

In [13]: s.__dict__ 
Out[13]: 
{'_shape': (5, 5), 
'data': array([], dtype=float64), 
'format': 'csr', 
'indices': array([], dtype=int32), 
'indptr': array([0, 0, 0, 0, 0, 0], dtype=int32), 
'maxprint': 50} 

In [14]: s.indptr.nbytes 
Out[14]: 24 

In [15]: l = sparse.lil_matrix((5,5)) 

In [16]: l.__dict__ 
Out[16]: 
{'_shape': (5, 5), 
'data': array([[], [], [], [], []], dtype=object), 
'dtype': dtype('float64'), 
'format': 'lil', 
'maxprint': 50, 
'rows': array([[], [], [], [], []], dtype=object)} 

In [17]: l.data.nbytes 
Out[17]: 40 

In [18]: l.rows.nbytes 
Out[18]: 40