Как вычислить матрицу диагональной степени от огромной матрицы (scipy.sparse)?

Question

Учитывая квадратичную матрицу размером 1 млн., Я хочу рассчитать матрицу диагональной степени.

Матрица диагональной степени определяется как диагональная матрица, в которой есть количество ненулевых значений для каждой строки.

Матрица, назовем ее A в формате scipy.sparse.csr_matrix.

Если моя машина будет иметь достаточно сил, я бы просто сделать

diagonal_degrees = [] 
for row in A: 
    diagonal_degrees.append(numpy.sum(row!=0)) 

Я даже пытался, но это приводит к

ValueError: array is too big. 

Так что я пытался использовать разреженную структуру SciPy. Я думал об этом пути:

diagonal_degrees = [] 
CSC_format = A.tocsc() # A is in scipys CSR format. 
for i in range(CSC_format.shape[0]): 
    row = CSC_format.getrow(i) 
    diagonal_degrees.append(numpy.sum(row!=0)) 

У меня два вопроса:

1. Есть ли более эффективный способ, я, возможно, упустили из виду?
2. Хотя docs of scipy sparse state:

All conversions among the CSR, CSC, and COO formats are efficient, linear-time operations.

Почему я получаю

SparseEfficiencyWarning: changing the sparsity structure of a csr_matrix is expensive. lil_matrix is more efficient. 

в то время как переход от КСО CSC?

Answer 1

Если вам нужно только подсчитать ненулевые элементы, то может быть полезным метод nonzero.

Точный код будет (с помощью Joe Kington и matehat):

diag_deg, _ = np.histogram(x.nonzero()[0], np.arange(x.shape[0]+1)) 

# generating a diagonal matrix with diag_deg 
dim = x.shape[0] 
diag_mat = np.zeros((dim**2,)) 
diag_mat[np.arange(0, dim**2, dim+1)] = diag_deg 
diag_mat.reshape((dim, dim)) 

Хотя для больших массивов (dim ~ 1 million), как отмечает Aufwind, np.zeros((dim**2,)) дает исключение: ValueError: Maximum allowed dimension exceeded. Альтернативным решением является использование разреженных матриц:

diag_mat = sparse.coo_matrix((dim, dim)) 
diag_mat.setdiag(diag_deg)