Быстрый подсчет элементов массива numpy по значениям порогов в другом массиве

Question

Учитывая массив пороговых значений numpy, каков наиболее эффективный способ создания массива счетчиков другого массива, удовлетворяющего этим значениям?

Предположим, что массив порогового значения мал и отсортирован, а массив значений, подлежащих подсчету, является большим и является несортированным.

Пример: для каждого элемента valueLevels, подсчитывать элементы values больше или равна ей:

import numpy as np 

n = int(1e5) # size of example 

# example levels: the sequence 0, 1., 2.5, 5., 7.5, 10, 5, ... 50000, 75000 
valueLevels = np.concatenate(
        [np.array([0.]), 
        np.concatenate([ [ x*10**y for x in [1., 2.5, 5., 7.5] ] 
            for y in range(5) ]) 
        ] 
       ) 

np.random.seed(123) 
values = np.random.uniform(low=0, high=1e5, size=n) 

До сих пор я пытался список понимание подхода.

• np.array([sum(values>=x) for x in valueLevels]) было неприемлемо медленно
• np.array([len(values[values>=x]) for x in valueLevels]) было улучшение
• сортировки values сделал ускорить понимание (в этом примере, от ~ 7 до 0,5 мс), но стоимость рода (~ 8 мс) превысил сбережения для одноразового использования

лучшее, что я сейчас это понимание this approach:

%%timeit 
np.array([np.count_nonzero(values>=x) for x in valueLevels]) 
# 1000 loops, best of 3: 1.26 ms per loop 

, который является приемлемым для моих целей, но из любопытства,

То, что я хотел бы знать, является

• Если список понимание является путь, это может быть ускорено? Или,
• Существуют ли другие подходы быстрее? (У меня есть смутное ощущение, что это можно сделать, передавая массив значений по массиву пороговых значений, но я не могу понять, как получить размеры для np.broadcast_arrays().

Answer 1

Самый быстрый я до сих пор

%timeit count_nonzero(values >= atleast_2d(valueLevels).T, axis=1) 
# 1000 loops, best of 3: 860 µs per loop 

sum медленнее:

%timeit sum(values >= atleast_2d(valueLevels).T, axis=1) 
# 100 loops, best of 3: 2.5 ms per loop 

@ версии Divakar является еще медленнее:

%timeit count_nonzero(values[:, None] >= valueLevels, axis=1) 
# 100 loops, best of 3: 3.86 ms per loop 

Однако, я бы, вероятно, по-прежнему использовать список вашего понимания, что не намного медленнее, и не создает большой 2D boolean array в качестве промежуточного этапа:

%timeit np.array([np.count_nonzero(values>=x) for x in valueLevels]) 
# 1000 loops, best of 3: 987 µs per loop 

Answer 2

Подход № 1 Использование np.searchsorted -

values.size - np.searchsorted(values,valueLevels,sorter=values.argsort()) 

Подход № 2 Использование NumPy broadcasting -

(values[:,None]>=valueLevels).sum(0)