Удалить дубликаты из списка списка на основе подмножества каждого списка

Question

Я написал функцию для удаления «дубликатов» из списка.

Элементы моего списка являются:

[ip, email, phone number]. 

Я хотел бы, чтобы удалить подсписки, которые получили тот же телефон и, я действительно не забочусь о IP-адресе.

Решение, которое я в настоящее время использую:

def remove_duplicate_email_phone(data): 
    for i in range(len(data)): 
     for j in reversed(range(i+1,len(data))): 
      if data[i][1] == data[j][1] and data[i][2] == data[j][2] : 
       data.pop(j) 
    return data 

Я хотел бы оптимизировать это. Результат получился более 30 минут.

Answer 1

Другой подход мог бы использовать Counter

from collections import Counter 

data = [(1, "a@b.com", 1234), (1, "a@b.com", 1234), (2, "a@b.com", 1234)] 
counts = Counter([i[:2] for i in data]) 

print [i for i in data if counts[i[:2]] == 1] # Get unique 

Answer 2

Ваш подход выполняет полное сканирование для каждого элемента в списке, заставляя его выполнять O (N ** 2) (квадратичное) время. list.pop(index) также стоит дорого, поскольку все, что следует за index, перемещается вверх, делая ваше решение приближающимся O (N ** 3) кубическим временем.

Используйте набор и добавьте (email, phonenumber) кортежи к нему, чтобы проверить, уже ли вы видели эту пару; тестирование защитной оболочка от набора занимает O (1) постоянное время, так что вы можете очистить простофили в O (N) общее время:

def remove_duplicate_email_phone(data): 
    seen = set() 
    cleaned = [] 
    for ip, email, phone in data: 
     if (email, phone) in seen: 
      continue 
     cleaned.append([ip, email, phone]) 
     seen.add((email, phone)) 
    return cleaned 

Это производит нового списка, старый список остается нетронутым.

Answer 3

Другим решением может быть использование groupby.

from itertools import groupby 
from operator import itemgetter 

deduped = [] 

data.sort(key=itemgetter(1,2)) 
for k, v in groupby(data, key=itemgetter(1,2): 
    deduped.append(list(v)[0]) 

или используя список понимание:

deduped = [next(v) for k, v in groupby(data, key=itemgetter(1,2))]