C# Строить очень большой текстовый файл из SQL-запроса

Question

Я беру 100 + таблицы из базы данных SQL и записываю все данные в 1 файл. В SQL я запускал сложный запрос для форматирования таблиц в одно представление. В VS я подключаюсь к SQL и выбираю * из представления и используя String Builder для создания файла.

Это работает, если я получаю только 5% данных и аварийно завершает работу с исключением памяти, если попытаюсь захватить 100%. У просмотра 10 миллионов записей. Я ищу совет. Благодарю.

string cs4 = ConfigurationManager.ConnectionStrings["example"].ConnectionString; 
StringBuilder sb4 = new StringBuilder(); 
using (SqlConnection con4 = new SqlConnection(cs4)) 
{ 
    string strTQuery = @"SELECT * FROM [dbo].[view]"; 
    SqlDataAdapter da4 = new SqlDataAdapter(strTQuery, con4); 
    DataSet ds4 = new DataSet(); 
    da4.Fill(ds4); 

    ds4.Tables[0].TableName = "Example"; 

    foreach (DataRow exDR in ds4.Tables["Example"].Rows) 
    { 
     sb4.Append(exDR["A"].ToString() + strDelimiter); 
     sb4.Append(exDR["B"].ToString() + strDelimiter); 
     sb4.Append(exDR["C"].ToString() + strDelimiter); 
     sb4.Append(exDR["D"].ToString()); 
     sb4.Append("\r\n"); 
    } 
} 

StreamWriter file4 = new StreamWriter(@"\\Desktop" + todaysDate + ".csv"); 
file4.WriteLine(sb4.ToString()); 
file4.Close(); 

Answer 1

Как уже упоминалось, D Stanley вам нужно писать одновременно с чтением, поэтому все идет прямо на диск и не переходит в память сначала, а затем диск. Что-то вроде этого будет работать.

string cs4 = ConfigurationManager.ConnectionStrings["example"].ConnectionString; 

using (SqlConnection con4 = new SqlConnection(cs4)) 
using(StreamWriter file4 = new StreamWriter(@"\\Desktop" + todaysDate + ".csv")) 
{ 
    string strTQuery = @"SELECT A, B, C, D FROM [dbo].[view]"; 
    var command = new SqlCommand(strTQuery, con4); 
    con4.Open(); 
    var reader = command.ExecuteReader(); 

    while(reader.Read()) 
    { 
     file4.Write(reader.GetString(0) + strDelimiter); 
     file4.Write(reader.GetString(1) + strDelimiter); 
     file4.Write(reader.GetString(2) + strDelimiter); 
     file4.Write(reader.GetString(3)); 
     file4.Write("\r\n"); 
    } 
} 

Вы должны также использовать SqlDataReader вместо DataSet как это указатель вперед движется и получает результаты с каждой итерации.

Answer 2

Проблема заключается в этой строке:

file4.WriteLine(sb4.ToString()); 

Причина в том, ни один объект в CLR не может быть больше, чем 2 Гб. Ваша строка в этом случае является исключительной большой, и такое поведение даже не требуется (ToString я имею в виду). Чтобы избежать этой проблемы, используйте FileStream для записи ваших данных по мере их получения.

Answer 3

Вы пытаетесь сохранить весь файл в памяти во время выполнения, поэтому вы получаете ошибку памяти. Попробуйте сохранить куски файла и выложите файл.

попробовать

string cs4 = ConfigurationManager.ConnectionStrings["example"].ConnectionString; 
      StringBuilder sb4 = new StringBuilder(); 
      using (SqlConnection con4 = new SqlConnection(cs4)) 
      { 
       StreamWriter file4 = new StreamWriter(@"\\Desktop" + todaysDate + ".csv", true); 
       string strTQuery = @"SELECT * FROM [dbo].[view]"; 
       SqlDataAdapter da4 = new SqlDataAdapter(strTQuery, con4); 
       DataSet ds4 = new DataSet(); 
       da4.Fill(ds4); 

       ds4.Tables[0].TableName = "Example"; 

       foreach (DataRow exDR in ds4.Tables["Example"].Rows) 
       { 
        sb4 = new StringBuilder(); 
        sb4.Append(exDR["A"].ToString() + strDelimiter); 
        sb4.Append(exDR["B"].ToString() + strDelimiter); 
        sb4.Append(exDR["C"].ToString() + strDelimiter); 
        sb4.Append(exDR["D"].ToString()); 
        sb4.Append("\r\n"); 

        file4.WriteLine(sb4.ToString()); 
       } 
       file4.Close(); 
      }