Избегайте дублирования в запросе и построении DataTable

Question

Каким будет правильный способ избежать дублирования при запросе данных, а затем сохранить его в DataTable. Я использую шаблон ниже, который становится очень подверженным ошибкам, когда таблицы растут. Я посмотрел ниже намеки. С первым copyToDataTable() выглядит действительно не применимым, а второй для меня слишком сложным для задачи. Я хотел бы разделить приведенный ниже код на два отдельных метода (сначала для создания запроса, а второй для получения DataTable). Возможно, если я избегу анонимного типа в запросе, это должно быть проще избежать жесткого кодирования всех имен столбцов, но я как-то проиграл с этим.

Filling a DataSet or DataTable from a LINQ query result set или https://msdn.microsoft.com/en-us/library/bb669096%28v=vs.110%29.aspx

public DataTable retrieveReadyReadingDataTable() 
     { 
     DataTable dtblReadyToSaveToDb = RetrieveDataTableExConstraints(); 
     var query = from scr in scrTable.AsEnumerable() 
        from products in productsTable.AsEnumerable() 
        where(scr.Field<string>("EAN") == products.Field<string>("EAN")) 
        select 

        new 
        { 
         Date = DateTime.Today.Date, 
         ProductId = products.Field<string>("SkuCode"), 
         Distributor = scr.Field<string>("Distributor"), 
         Price = float.Parse(scr.Field<string>("Price")), 
         Url = scr.Field<string>("Url") 
        }; 


     foreach (var q in query) 
     { 
      DataRow newRow = dtblReadyToSaveToDb.Rows.Add(); 

      newRow.SetField("Date", q.Date); 
      newRow.SetField("ProductId", q.ProductId); 
      newRow.SetField("Distributor", q.Distributor); 
      newRow.SetField("Price", q.Price); 
      newRow.SetField("Url", q.Url); 
     } 

     return dtblReadyToSaveToDb; 
    } 

Answer 1

Во-первых, вы должны решить, что "дубликат" означает в вашем случае. Согласно вашему коду, я бы сказал, что дубликат - это строка с таким же значением в столбце Date, ProductId и Distributor. Поэтому сначала добавьте первичный ключ для нескольких столбцов для этих столбцов.

Во-вторых, вы должны добавить какой-то код, который сначала запрашивает существующие строки, а затем сравнивает эти существующие строки с строками, которые вы хотите создать. Если совпадение найдено, просто просто не вставляйте новую строку.