Создание уникального списка (python)

Question

У меня есть матрица около 3000 видов, например.

Членистоногого/Шестиногий/Insecta/Жесткокрылый/Cerambycidae/Anaglyptus

каждая строка представляет собой последовательность таксономических классификаций. Что мне нужно сделать, сортируйте 3000 строк, чтобы каждый из них был уникальным, чтобы файл можно было загружать в программу, которая создает филогенетические (эволюционные) деревья.

Я попытался использовать набор, но получить сообщение об ошибке, поскольку списки не являются объектами хеширования, однако важно сохранить каждую строку вместе, поскольку значения в каждом столбце для каждой строки вложены.

Каков наилучший способ гарантировать, что у меня есть только уникальные значения в последнем столбце, но сохранить целостность каждой строки?

большое спасибо

Answer 1

Как уже упоминалось в комментариях, кортежи hashable, даже если списки не являются. Итак, давайте преобразуем ваши строки в кортежи!

# Create the Dataset 
L = [] 
L.append(["Arthropoda", "Hexapoda", "Insecta", "Coleoptera", "Cerambycidae", "Anaglyptus"]) 
L.append(["Arthropoda", "Hexapoda", "Insecta", "Coleoptera", "Cerambycidae", "Aromia"]) 

# Instead of a list of lists, let's have a list of tuples! 
L = [tuple(x) for x in L] 

# Using a set, we can easily remove duplicates 
L = set(L) 

Answer 2

питона мастеров может быть оскорблен, но этот ответ стоит попробовать

l = [] 
with open('file.txt', 'r') as fp: 
    for i in fp.readlines(): 
     if i not in l: 
      l.append(i) 

with open('file2.txt', 'w') as fp: 
    fp.writelines(l)