Удалить дубликаты из массива объектов

Question

У меня есть класс с именем Customer, который имеет несколько строковых свойств, как

firstName, lastName, email, etc. 

Я прочитал в информации о клиенте из csv файла, который создает массив класса:

Customer[] customers 

Мне нужно, чтобы удалили дубликатов клиентов с тем же адресом электронной почты, оставив только одну запись клиента для каждого конкретного адреса электронной почты.

Я сделал это, используя 2 контура, но это занимает почти 5 минут, так как обычно существует 50 000+ записей о клиентах. Как только я закончил удаление дубликатов, мне нужно записать информацию о клиенте в другой файл csv (здесь не нужна помощь).

Если я сделал Distinct в цикле, как бы удалить другие строковые переменные, которые являются частью класса для этого конкретного клиента?

Спасибо, Andrew

Answer 1

Я хотел бы сделать это следующим образом:

public class Person { 
    public Person(string eMail, string Name) { 
     this.eMail = eMail; 
     this.Name = Name; 
    } 
    public string eMail { get; set; } 
    public string Name { get; set; } 
} 
public class eMailKeyedCollection : System.Collections.ObjectModel.KeyedCollection<string, Person> { 
    protected override string GetKeyForItem(Person item) { 
     return item.eMail; 
    } 
} 

public void testIt() { 
    var testArr = new Person[5]; 
    testArr[0] = new Person("Jon@Mullen.com", "Jon Mullen"); 
    testArr[1] = new Person("Jane@Cullen.com", "Jane Cullen"); 
    testArr[2] = new Person("Jon@Cullen.com", "Jon Cullen"); 
    testArr[3] = new Person("John@Mullen.com", "John Mullen"); 
    testArr[4] = new Person("Jon@Mullen.com", "Test Other"); //same eMail as index 0... 

    var targetList = new eMailKeyedCollection(); 
    foreach (var p in testArr) { 
     if (!targetList.Contains(p.eMail)) 
      targetList.Add(p); 
    } 
} 

Если элемент найден в коллекции, вы можете легко выбрать (и в конечном итоге изменить) его:

 if (!targetList.Contains(p.eMail)) 
      targetList.Add(p); 
     else { 
      var currentPerson=targetList[p.eMail]; 
      //modify Name, Address whatever... 
     } 

Answer 2

с Linq, вы можете сделать это в O (N) времени (одноконтурный уровень) с GroupBy

var uniquePersons = persons.GroupBy(p => p.Email) 
          .Select(grp => grp.First()) 
          .ToArray(); 

Обновление

Немного о O(n) поведении GroupBy.

GroupBy реализуется в Linq (Enumerable.cs), так как это -

IEnumerable повторяется только один раз, чтобы создать группировку. A Hash предоставленного ключа (например, «Email» здесь) используется для поиска уникальных ключей, а элементы добавляются в Grouping, соответствующие ключам.

См. Этот код GetGrouping. И некоторые старые сообщения для справки.

• What's the asymptotic complexity of GroupBy operation?
• What guarantees are there on the run-time complexity (Big-O) of LINQ methods?

Тогда Select, очевидно, является О (п) код, что делает приведенный выше код O(n) в целом.

Обновление 2

Для обработки empty/null значения.

Так что, если есть случаи, когда значение Email является null или empty, простой GroupBy будет принимать только один из этих объектов из null & empty каждого.

Один быстрый способ, чтобы включить все эти объекты с null/empty значением является использование некоторых уникальных ключей во время выполнения для этих объектов, как

var tempEmailIndex = 0; 
var uniqueNullAndEmpty = persons 
         .GroupBy(p => string.IsNullOrEmpty(p.Email) 
             ? (++tempEmailIndex).ToString() : p.Email) 
         .Select(grp => grp.First()) 
         .ToArray();