Попробуйте эти два метода:
1) Вот пользовательский плагин под названием "Matrixtools": http://shallice.com/wordpress/maxima-plugins/ называется redech(M)
.
2) Вот пример Rosetta код функции rref
:
rref(a):=block([p,q,k],[p,q]:matrix_size(a),a:echelon(a),
k:min(p,q),
for i thru min(p,q) do (if a[i,i]=0 then (k:i-1,return())),
for i:k thru 2 step -1 do (for j from i-1 thru 1 step -1 do a:rowop(a,j,i,a[j,i])),
a)$
a: matrix([12,-27,36,44,59],
[26,41,-54,24,23],
[33,70,59,15,-68],
[43,16,29,-52,-61],
[-43,20,71,88,11])$
rref(a);
matrix([1,0,0,0,1/2],[0,1,0,0,-1],[0,0,1,0,-1/2],[0,0,0,1,1],[0,0,0,0,0])