Servicestack - Ormlite - загрузка больших объемов данных

Question

У меня возникают проблемы с Servicestack и OrmLite в сценариях с высокой загрузкой данных.

В частности,
1. У меня есть список 1000 000 + лиц
2. Я хотел бы, чтобы вставить их в Db (с помощью SQL Server), если запись не существует еще

Таким образом,

public class Entity 
{ 
    [Autoincrement] 
    public int Id {get;set;} 
    public string Name {get;set;} 
    public string Address {get;set;} 
} 

Теперь для логики импорта,

List<Entity> entities = oneMillionEntities.ToList(); 
foreach (var entity in entities) 
{ 
    if (!db.Exists<Entity>(ar => ar.Address == entity.Address)) 
    { 
     db.Save(entity); 
    } 
} 

Проблема в том, что довольно часто дб все еще занят сохранением действия, поэтому db.Exists не всегда дает правильный результат. Каков наилучший способ обработки этих сценариев?

Answer 1

Попробуйте

// Prepare SqlExpression 
var ev = Db.From<Entity>().Select(p => p.Address).GroupBy(p => p.Address); 

// Execute SqlExpression and transform result to HashSet 
var dbAddresses = Db.SqlList(ev).ToHashSet(); 

// Filter local entities and get only local entities with different addresses 
var filteredEntities = oneMillionEntities.Where(p => 
!dbAddresses.Contains(p.Address)); 

// Bulk insert 
db.InsertAll(filteredEntities.ToList());