Альтернатива Get-Content

Question

В настоящее время у меня есть следующая строка кода.

(Get-Content 'file.txt') | 
    ForEach-Object {$_ -replace '"', ''} | 
    Set-Content 'file.txt' 

Это работало при тестировании, но теперь я пытаюсь использовать его на файлы реальных данных (13 ГБ) и этот процесс с помощью Get-Content вызывает Powershell потреблять большое количество оперативной памяти и в конечном итоге все доступная оперативная память на машине.

Есть ли лучший способ добиться того же результата без того же объема накладных расходов?

Кажется, я делаю противоположность лучшей практике, но не уверен, что еще будет чище/меньше оперативной памяти, чем выше.

Answer 1

Используйте поток, чтобы прочитать файл, то он не будет поместить все это в память , вы также можете использовать поток для записи вывода. Это должно выполнять довольно хорошо, и держать использование памяти вниз:

$file = New-Object System.IO.StreamReader -Arg "c:\test\file.txt" 
$outstream = [System.IO.StreamWriter] "c:\test\out.txt" 

while ($line = $file.ReadLine()) { 
    $s = $line -replace '"', '' 
    $outstream.WriteLine($s) 
} 
$file.close() 
$outstream.close() 

Answer 2

Это должно быть быстрее, чем линия за линией обработки, и по-прежнему держать потребление памяти под контролем:

Get-content 'file.txt' -ReadCount 5000 | 
foreach-object {$_ -replace '"', '' | 
add-content 'newfile.txt' } 

Answer 3

Ваша проблема не вызвана Get-Content, но тот факт, что вы работаете оператор в выражении (т.е. в скобках). Запуск Get-Content - это удобный способ разрешить конвейеру записывать данные обратно в один и тот же файл. Однако недостатком этого подхода является то, что весь файл считывается в память до того, как данные передаются в конвейер (в противном случае файл все равно будет открыт для чтения, когда Set-Content пытается записать данные обратно).

Для обработки больших файлов вы должны удалить круглые скобки и записать вывод во временный файл, который вы переименовываете впоследствии.

Get-Content 'C:\path\to\file.txt' | 
    ForEach-Object {$_ -replace '"', ''} | 
    Set-Content 'C:\path\to\temp.txt' 

Remove-Item 'C:\path\to\file.txt' 
Rename-Item 'C:\path\to\temp.txt' 'file.txt' 

Выполнение этого позволяет избежать исчерпания памяти, которое вы наблюдали. Обработку можно ускорить, увеличив количество отсчетов, как предлагалось @mjolinor (сократить время выполнения до 40% в моих тестах).

Для еще более эффективного использования производительности своего подхода с StreamReader и StreamWriter, что @campbell.rw предложили:

$reader = New-Object IO.StreamReader 'C:\path\to\file.txt' 
$writer = New-Object IO.StreamWriter 'C:\path\to\temp.txt' 

while ($reader.Peek() -ge 0) { 
    $line = $reader.ReadLine().Replace('"', '') 
    $writer.WriteLine($line) 
} 

$reader.Close(); $reader.Dispose() 
$writer.Close(); $writer.Dispose() 

Remove-Item 'C:\path\to\file.txt' 
Rename-Item 'C:\path\to\temp.txt' 'file.txt'