Скорость ввода EntityFramework очень медленная с большим количеством данных

Question

Я пытаюсь вставить около 50.000 строк в MS Sql Server db через Entity Framework 6.1.3, но это занимает слишком много времени. Я следовал this answer. Отключено AutoDetectChangesEnabled и вызов SaveChanges после добавления каждого 1000 объектов. Это по-прежнему занимает около 7-8 минут. Я пробовал это с удаленного сервера и локального сервера. Нет большой разницы. Я не думаю, что это нормально. Я что-то забыл?

Вот мой код:

static void Main(string[] args) 
    { 

     var personCount = 50000; 
     var personList = new List<Person>(); 
     var random = new Random(); 

     for (int i = 0; i < personCount; i++) 
     { 
      personList.Add(new Person 
      { 
       CreateDate = DateTime.Now, 
       DateOfBirth = DateTime.Now, 
       FirstName = "Name", 
       IsActive = true, 
       IsDeleted = false, 
       LastName = "Surname", 
       PhoneNumber = "", 
       PlaceOfBirth = "Trabzon", 
       Value0 = random.NextDouble(), 
       Value1 = random.Next(), 
       Value10 = random.NextDouble(), 
       Value2 = random.Next(), 
       Value3 = random.Next(), 
       Value4 = random.Next(), 
       Value5 = random.Next(), 
       Value6 = "Value6", 
       Value7 = "Value7", 
       Value8 = "Value8", 
       Value9 = random.NextDouble() 
      }); 
     } 

     MyDbContext context = null; 

     try 
     { 
      context = new MyDbContext(); 
      context.Configuration.AutoDetectChangesEnabled = false; 

      int count = 0; 
      foreach (var entityToInsert in personList) 
      { 
       ++count; 
       context = AddToContext(context, entityToInsert, count, 1000, true); 
      } 

      context.SaveChanges(); 
     } 
     finally 
     { 
      if (context != null) 
       context.Dispose(); 
     } 

    } 

    private static MyDbContext AddToContext(MyDbContext context, Person entity, int count, int commitCount, bool recreateContext) 
    { 
     context.Set<Person>().Add(entity); 

     if (count % commitCount == 0) 
     { 
      context.SaveChanges(); 
      if (recreateContext) 
      { 
       context.Dispose(); 
       context = new MyDbContext(); 
       context.Configuration.AutoDetectChangesEnabled = false; 
      } 
     } 

     return context; 
    } 

Person класс:

public class Person 
{ 
    public int Id { get; set; } 

    [MaxLength(50)] 
    public string FirstName { get; set; } 

    [MaxLength(50)] 
    public string LastName { get; set; } 

    public DateTime DateOfBirth { get; set; } 

    [MaxLength(50)] 
    public string PlaceOfBirth { get; set; } 

    [MaxLength(15)] 
    public string PhoneNumber { get; set; } 

    public bool IsActive { get; set; } 

    public DateTime CreateDate { get; set; } 

    public int Value1 { get; set; } 

    public int Value2 { get; set; } 

    public int Value3 { get; set; } 

    public int Value4 { get; set; } 

    public int Value5 { get; set; } 

    [MaxLength(50)] 
    public string Value6 { get; set; } 

    [MaxLength(50)] 
    public string Value7 { get; set; } 

    [MaxLength(50)] 
    public string Value8 { get; set; } 

    public double Value9 { get; set; } 

    public double Value10 { get; set; } 

    public double Value0 { get; set; } 

    public bool IsDeleted { get; set; } 
} 

Запрос отслеживаются от профилировщика:

exec sp_executesql N'INSERT [dbo].[Person]([FirstName], [LastName],  [DateOfBirth], [PlaceOfBirth], [PhoneNumber], [IsActive], [CreateDate],  [Value1], [Value2], [Value3], [Value4], [Value5], [Value6], [Value7], [Value8],  [Value9], [Value10], [Value0], [IsDeleted]) 
VALUES (@0, @1, @2, @3, @4, @5, @6, @7, @8, @9, @10, @11, @12, @13, @14, @15, @16, @17, @18) 
SELECT [Id] 
FROM [dbo].[Person] 
WHERE @@ROWCOUNT > 0 AND [Id] = scope_identity()',N'@0 nvarchar(50),@1  nvarchar(50),@2 datetime2(7),@3 nvarchar(50),@4 nvarchar(15),@5 bit,@6 datetime2(7),@7 int,@8 int,@9 int,@10 int,@11 int,@12 nvarchar(50),@13 nvarchar(50),@14 nvarchar(50),@15 float,@16 float,@17 float,@18 bit',@0=N'Name',@1=N'Surname',@2='2017-01-19 10:59:09.9882591',@3=N'Trabzon',@4=N'',@5=1,@6='2017-01-19 10:59:09.9882591',@7=731825903,@8=1869842619,@9=1701414555,@10=1468342767,@11=1962019787,@12=N'Value6',@13=N'Value7',@14=N'Value8',@15=0,65330243467041405,@16=0,85324223938083377,@17=0,7146566792925152,@18=0 

Я хочу, чтобы решить эту проблему только с EF. Сейчас у меня много альтернатив. Но давайте предположим, что других шансов нет.

Основная проблема здесь, я использовал такой же подход с ответом, на который я ссылался. Он вставляет 560000 объектов за 191 сек. Но я могу вставить только 50000 за 7 минут.

Answer 1

Вы уже избавились от проблемы ChangeTracker, отключив AutoDetectChanges.

Я обычно рекомендую, чтобы сделать один этих решений:

1. AddRange над Добавить (рекомендуется)
2. SET AutoDetectChanges ложных
3. SPLIT SaveChanges в нескольких партиях

См.: http://entityframework.net/improve-ef-add-performance

Создание нескольких партий не будет действительно улучшать или уменьшать производительность, поскольку вы уже установили AutoDectectChanges в false.

Основная проблема заключается в том, что Entity Framework создает базу данных для всех объектов, которые необходимо вставить. Поэтому, если вы ВСТАВЛЯЕТ 50 000 объектов, выполняется 50 000 операций с базой данных, которая равна INSANE.

Что вам нужно для решения вашей проблемы - это сокращение числа обращений к базам данных.

один бесплатный способ сделать это использует SqlBulkCopy: https://msdn.microsoft.com/en-us/library/system.data.sqlclient.sqlbulkcopy(v=vs.110).aspx

---

Отказ от ответственности: Я владелец Entity Framework Extensions

Эта библиотека позволяет выполнять все массовые операции, необходимые для вашего сценарии:

• Объемные SaveChanges
• Массовая вставка
• Bulk Удалить
• Массовое обновление
• Bulk Слияние

Вы сможете вставить 50000 объектов в течение нескольких секунд.

Пример

// Easy to use 
context.BulkSaveChanges(); 

// Easy to customize 
context.BulkSaveChanges(bulk => bulk.BatchSize = 100); 

// Perform Bulk Operations 
context.BulkDelete(customers); 
context.BulkInsert(customers); 
context.BulkUpdate(customers); 

// Customize Primary Key 
context.BulkMerge(customers, operation => { 
    operation.ColumnPrimaryKeyExpression = 
     customer => customer.Code; 
});