Агрегатные функции Numpy

Question

У меня есть операция Numpy, что я называю интенсивно, и мне нужно оптимизировать:

np.sum(a**2, axis=1)**.5 # where a is a 2 dimensional ndarray 

Эта операция состоит из трех функций и требует переборе «а» в три раза. Было бы более эффективно объединять все операции под одной функцией и применять эту функцию только один раз по оси 1. К сожалению, функцияnumpy не является опцией, так как производительность примерно на x1000 хуже.

Есть ли способ агрегирования нескольких операций с numpy, поэтому ему нужно только один раз перебрать по массиву?

Answer 1

При работе с плавающей точкой массива, вы можете использовать np.einsum -

np.sqrt(np.einsum('ij,ij->i',a,a)) 

Продолжительность испытания -

In [34]: a = np.random.rand(1000,1000) 

In [35]: np.allclose(np.sum(a**2, axis=1)**.5,np.sqrt(np.einsum('ij,ij->i',a,a))) 
Out[35]: True 

In [36]: %timeit np.sum(a**2, axis=1)**.5 
100 loops, best of 3: 7.57 ms per loop 

In [37]: %timeit np.sqrt(np.einsum('ij,ij->i',a,a)) 
1000 loops, best of 3: 1.52 ms per loop 

Answer 2

Посмотрите на numexpr, что позволяет оценить числовые выражения быстрее, чем чистый numpy:

In [19]: a = np.arange(1e6).reshape(1000,1000) 

In [20]: import numexpr as ne 

In [21]: %timeit np.sum(a**2,axis=1)**0.5 
100 loops, best of 3: 6.08 ms per loop 

In [22]: %timeit ne.evaluate("sum(a**2,axis=1)")**0.5 
100 loops, best of 3: 4.27 ms per loop 

**0.5 не является частью выражения, поскольку sum является операциями по сокращению и должно быть вычислена последними в выражении. Вы также можете запустить еще одну оценку для sqrt/**0.5.