Сравнение векторов в массиве векторов

Question

Я очень сильно застрял, и каждая запрошенная мной питонистика не может помочь.

Я использую vstack, чтобы создать массив векторов в цикле, как это:

Corr = np.vstack((Corr, S)) 

Мне нужно удалять повторяющиеся векторы так, что это массив уникальных векторов и сравнить все из этих векторов ,

Я знаю, что это сравнение может быть сделано в списках, но я не нашел способ добавить полные векторы в список.

Это результат (я пометил уникальные векторы с уникальными буквами):

Corr = [[ 0. 0. 0. 0. -2. 4. 4. 2. 2.] #a 
[-4. -4. -4. -4. 2. 4. 4. 2. 2.]#b 
[-4. 0. 0. 4. -2. 0. 0. -2. 2.]#c 
[ 0. -4. -4. 0. 2. 0. 0. -2. 2.]#d 
[ 0. -4. 4. 0. -2. 0. 0. 2. -2.]#e 
[-4. 0. 0. -4. 2. 0. 0. 2. -2.]#f 
[-4. -4. 4. 4. -2. 4. -4. -2. -2.]#g 
[ 0. 0. 0. 0. 2. 4. -4. -2. -2.]#h 
[ 0. 4. -4. 0. -2. 0. 0. 2. -2.]#i 
[-4. 0. 0. -4. 2. 0. 0. 2. -2.]#f 
[-4. 4. -4. 4. -2. -4. 4. -2. -2.]#j 
[ 0. 0. 0. 0. 2. -4. 4. -2. -2.]#k 
[ 0. 0. 0. 0. -2. -4. -4. 2. 2.]#l 
[-4. 4. 4. -4. 2. -4. -4. 2. 2.]#m 
[-4. 0. 0. 4. -2. 0. 0. -2. 2.]#n 
[ 0. 4. 4. 0. 2. 0. 0. -2. 2.]#o 
[ 4. 0. 0. -4. -2. 0. 0. -2. 2.]#c 
[ 0. -4. -4. 0. 2. 0. 0. -2. 2.]#d 
[ 0. 0. 0. 0. -2. -4. -4. 2. 2.]#p 
[ 4. -4. -4. 4. 2. -4. -4. 2. 2.]#q 
[ 4. -4. 4. -4. -2. -4. 4. -2. -2.]#r 
[ 0. 0. 0. 0. 2. -4. 4. -2. -2.]#k 
[ 0. -4. 4. 0. -2. 0. 0. 2. -2.]#e 
[ 4. 0. 0. 4. 2. 0. 0. 2. -2.]#s 
[ 4. 4. -4. -4. -2. 4. -4. -2. -2.]#t 
[ 0. 0. 0. 0. 2. 4. -4. -2. -2.]#h 
[ 0. 4. -4. 0. -2. 0. 0. 2. -2.]#i 
[ 4. 0. 0. 4. 2. 0. 0. 2. -2.]#s 
[ 4. 0. 0. -4. -2. 0. 0. -2. 2.]#u 
[ 0. 4. 4. 0. 2. 0. 0. -2. 2.]#o 
[ 0. 0. 0. 0. -2. 4. 4. 2. 2.]]#a 

Я не знаю, почему vstack добавляет период вместо запятой (в петлях каждый вектор S имеет запятая, когда я печатаю ее отдельно!).

Мне нужен конечный результат, чтобы быть массивом уникальных векторов (так что в этом случае это будут векторы a-u, то есть 21 вектор).

Answer 1

Если вы конвертируете свои векторы в кортежи, вы можете поместить их в set, который автоматически удалит дубликаты. Например:

unique_vectors = set(map(tuple, Corr)) 

array_of_unique_vectors = np.array(list(unique_vectors)) 

---

Edit: мне было интересно, поэтому я быстро протестировали три предложенных решений здесь. Результаты совпадают с порядком возвращаемых элементов, и оказывается, что метод Pandas drop_duplicates превосходит другие.

import numpy as np 
import pandas as pd 

def unique_set(a): 
    return np.vstack(set(map(tuple, a))) 

def unique_numpy(a): 
    a = np.ascontiguousarray(a) 
    view = a.view(np.dtype(('void', a.itemsize * a.shape[1]))) 
    unique = np.unique(view) 
    return unique.view(a.dtype).reshape(-1, a.shape[1]) 

def unique_pandas(a): 
    return pd.DataFrame(a).drop_duplicates().values 

a = np.random.randint(0, 5, (100000, 5)) 

%timeit unique_set(a) 
10 loops, best of 3: 183 ms per loop 

%timeit unique_numpy(a) 
10 loops, best of 3: 43.1 ms per loop 

%timeit unique_pandas(a) 
100 loops, best of 3: 10.3 ms per loop 

Answer 2

Панда имеет довольно прямое решение проблемы - в drop_duplicates функции:

http://pandas.pydata.org/pandas-docs/version/0.17.0/generated/pandas.DataFrame.drop_duplicates.html

Answer 3

Вот ответ, который позволяет избежать дублирования данных и не требует внешних пакетов, таких как панда:

Corr = np.ascontiguousarray(Corr) 
view = Corr.view(np.dtype(('void', Corr.itemsize * Corr.shape[1]))) 
unique_view = np.unique(view) 
unique = unique_view.view(Corr.dtype).reshape(-1, Corr.shape[1]) 

Я нахожу его примерно в 5 раз быстрее, чем предлагаемое ранее решение набора кортежей.