Как отфильтровать повторяющиеся значения в списке понимание в Python без использования набора

Question

я должен отфильтровать повторяющиеся значения в списке понимание

with open(file_name, 'rU') as input_file:   
     result = [unique for unique in [process(line) for line in input_file] if **unique_not_in_generated_list**] 

Какое выражение можно использовать вместо unique_not_in_generated_list?

питона 2,7

Answer 1

Вы можете использовать sorted и itertools.groupby как этот

from itertools import groupby 
print [unique for unique, _ in groupby(sorted(process(line) for line in input_file))] 

Примечание: Это не сохраняет порядок данных, но гарантировано для создания уникальных предметов без использования наборов.

Answer 2

Просто используйте выражение генератора и set():

with open(file_name, 'rU') as input_file:   
    result = list(set(process(line) for line in input_file)) 

Если необходимо сохранить порядок, вы можете использовать множество. Я также жертвуют список понимание в пользу читаемости:

result = list() 
seen = set() 

with open(file_name, 'rU') as input_file: 
    for line in input_file: 
     unique = process(line) 
     if unique not in seen: 
      seen.add(unique) 
      result.append(unique) 

Если вы настаиваете на использовании списка понимания и поддержания порядка, вы можете сделать это, используя одноразовые список None с, но это своего рода поражения цели и является O (N^2)

result = list() 
with open(file_name, 'rU') as input_file: 
    [result.append(x) for process(x) in input_file if process(x) not in result] 

Answer 3

Вот один вкладыш для удаления дубликатов, сохраняя при этом линии заказанные. Использовать collections.OrderedDict's fromkeys

result = list(OrderedDict.fromkeys(process(line) for line in input_file))