Строка длиной более 2 ГБ

Question

Мне нужно объединить несколько текстовых файлов, для которых каждый входной файл составляет около 3,5 ГБ. Это простые файлы, содержащие vbCrLf в концах строк.

В предыдущем коде, который я использовал для извлечения текстовых потоков с веб-страниц (см. Ниже), используется функция Peek (см. Ниже), и мне интересно, может ли Peek использоваться для чтения менее 2 ГБ из файла -> write to конкатенированный файл, а затем продолжить в последней половине каждого файла?

Dim encode As Encoding = System.Text.Encoding.GetEncoding("utf-8") 
Dim readStream As New StreamReader(recvStream, encode) 
Dim sPage As String 
sPage = "" 
While (readStream.Peek() > -1) 
    sPage += readStream.ReadLine() + vbCrLf 
End While 

В принципе, я не мог прочитать, скажем, 1,8 Гб с помощью Peek, написать (СЦЕПИТЬ), Peek, конкатенации и т.д. без после потери ничего. Есть ли что-нибудь еще, что возьмет поток 3.5GB, который я мог бы написать, чтобы писать с помощью StreamWriter?

Answer 1

Здесь было решение:

Dim encode As Encoding = System.Text.Encoding.GetEncoding("utf-8") 
Dim readStream As New StreamReader(recvStream, encode) 
Dim str, sPage As String 
sPage = "" 
While (readStream.Peek() > -1) 
    sPage += readStream.Read(str, 0, 32768) 
End While 
'Next, split the string into lines at the carriage returns 
Dim Buff() As String = Split(sPage, vbCrLf)