Удаление дубликатов из списка

Question

Надеюсь, кто-то может мне помочь. Я использую C#, и я немного новичок в этом. Я загружаю текстовый файл в свое приложение и разделяю данные на "," Я читаю часть строки в <list>, когда данные читаются, существует много дубликатов, которые различаются в зависимости от загружаемого файла txt. Может кто-нибудь сказать мне, как проверить и удалить все и все дубликаты, которые появляются. Нет никакого способа узнать, какие дубликаты появятся, поскольку есть бесконечные возможности, которыми это могло бы быть.

Спасибо за помощь заранее

Answer 1

Here's статья с некоторыми примерами и пояснениями в C#. В принципе, вы просто отслеживаете уникальность и проверяете каждый элемент.

Alex

Answer 2

При загрузке строки в Set вместо в List затем дублирует отбрасываются автоматически.

Answer 3

Если вы ориентируетесь .NET 3.5, используйте Distinct метод расширения:

var deduplicated = list.Distinct(); 

Answer 4

Простой/грязный пример следующим образом:

public List<string> RemoveDuplicates(List<string> listWithDups) 
{ 
    cleanList = new List<string>(); 
    foreach (string s in listWithDups) 
    { 
     if (!cleanList.Contains(s)) 
     cleanList.Add(s); 
    } 
    return cleanList; 
} 

В качестве предупреждения: String.split на очень больших строк может привести к огромному объему памяти и вызвать исключения.