Получите уникальные значения пересечения двух наборов

Question

Я хотел бы получить индексы уникальных векторов, используя hash (для матриц он эффективен), но np.intersect1d не дает индексов, он дает значения. С другой стороны, np.in1d ​​дает индексы, но не уникальные. Я закрепил диктофон, чтобы он работал, но он не кажется наиболее эффективным. Я новичок в python, поэтому пытаюсь понять, есть ли лучший способ сделать это. Спасибо за помощь!

код:

import numpy as np 
import hashlib 
x=np.array([[1, 2, 3],[1, 2, 3], [4, 5, 6], [7, 8, 9]]) 
y=np.array([[4, 5, 6], [7, 8, 9],[1, 2, 3]]) 

xhash=[hashlib.sha1(row).digest() for row in x] 
yhash=[hashlib.sha1(row).digest() for row in y] 
z=np.intersect1d(xhash,yhash) 

idx=list(range(len(xhash))) 

d=dict(zip(xhash,idx)) 
unique_idx=[d[i] for i in z] #is there a better way to get this or boolean array 
print(unique_idx) 
uniques=np.array([x[i] for i in unique_idx]) 
print(uniques) 

выход:

>>> [2, 3, 1] 
[[4 5 6] 
[7 8 9] 
[1 2 3]] 

У меня аналогичная проблема для np.unique(), где он не дает мне никаких индексов.

Answer 1

numpy_indexed пакета (отказ от ответственности: Я ее автор) имеет эффективную функциональность делают такие вещи, как это (и связанные с ними функциональными возможностями):

import numpy_indexed as npi 
uniques = npi.intersection(x, y) 

Обратите внимание, что это решение не использовать хеширование, но побитовое равенство элементы последовательности; так что риск возникновения хеш-коллизий и, скорее всего, намного быстрее на практике.

Answer 2

Использование np.unique-х return_index свойство возвращать флаги для уникальных значений, даваемых in1d

код:

import numpy as np 
import hashlib 
x=np.array([[1, 2, 3],[1, 2, 3], [4, 5, 6], [7, 8, 9]]) 
y=np.array([[1, 2, 3], [7, 8, 9]]) 
xhash=[hashlib.sha1(row).digest() for row in x] 
yhash=[hashlib.sha1(row).digest() for row in y] 
z=np.in1d(xhash,yhash) 

##Use unique to get unique indices to ind1 results 
_,unique=np.unique(np.array(xhash)[z],return_index=True) 

##Compute indices by indexing an array of indices 
idx=np.array(range(len(xhash))) 
unique_idx=(np.array(idx)[z])[unique] 

print('x=',x) 
print('unique_idx=',unique_idx) 
print('x[unique_idx]=',x[unique_idx]) 

Выход:

x= [[1 2 3] 
[1 2 3] 
[4 5 6] 
[7 8 9]] 
unique_idx= [3 0] 
x[unique_idx]= [[7 8 9] 
[1 2 3]]