Выполняется копирование файла в C#?

Question

У меня есть огромный каталог около 500 тыс. Jpg-файлов, и я хотел бы архивировать все файлы, которые старше определенной даты. В настоящее время для выполнения сценария требуется несколько часов.

Это связано с очень плохой работой серверов хранения GoGrid, но в то же время я уверен, что есть способ более эффективно использовать Ram/Cpu для выполнения того, что я делаю.

Вот код, у меня есть:.

var dirInfo = new DirectoryInfo(PathToSource); 
var fileInfo = dirInfo.GetFiles("*.*"); 
var filesToArchive = fileInfo.Where(f => 
    f.LastWriteTime.Date < StartThresholdInDays.Days().Ago().Date 
     && f.LastWriteTime.Date >= StopThresholdInDays.Days().Ago().Date 
); 

foreach (var file in filesToArchive) 
{ 
    file.CopyTo(PathToTarget+file.Name); 
} 

Дни() s назад() материал просто синтаксический сахар.

Answer 1

Хотя .NET 4.0 обеспечивает ленивую Directory.EnumerateFiles, вы можете сделать это прямо сейчас на .NET 3.5:

• http://weblogs.asp.net/podwysocki/archive/2008/10/16/functional-net-fighting-friction-in-the-bcl-with-directory-getfiles.aspx
• http://codebetter.com/blogs/matthew.podwysocki/archive/2009/03/18/functional-net-laziness-becomes-you.aspx
• http://bugsquash.blogspot.com/2008/07/y-combinator-and-linq.html
• http://www.atalasoft.com/cs/blogs/stevehawley/archive/2009/06/02/more-ienumerable-t-fun.aspx

Answer 2

Вы можете поэкспериментировать с использованием (ограниченного числа) потоков для выполнения CopyTo(). Сейчас вся операция ограничена 1 ядром.

Это улучшит производительность только в том случае, если он теперь связан с ЦП. Но если это работает на RAID, это может сработать.

Answer 3

Я бы хотел иметь в виду правило 80/20 и отметить, что если основная часть замедления составляет file.CopyTo, и это замедление значительно перевешивает производительность запроса LINQ, тогда я бы не стал беспокоиться. Вы можете проверить это, удалив линию file.CopyTo и заменив ее операцией Console.WriteLine. Время, которое по сравнению с реальной копией. Вы найдете накладные расходы GoGrid по сравнению с остальной частью операции. Моя догадка не будет никаких реалистичных больших выигрышей на вашем конце .

EDIT: Хорошо, поэтому 80% является операцией GetFiles, что неудивительно, если на самом деле в каталоге имеется миллион файлов. Лучше может быть, чтобы начать использовать API Win32 непосредственно (как FindFirstFile и family) и P/Invoke:

[DllImport("kernel32.dll", CharSet=CharSet.Auto)] 
static extern IntPtr FindFirstFile(string lpFileName, 
    out WIN32_FIND_DATA lpFindFileData); 

Я также предлагаю, если это возможно, изменяя структуру каталогов, чтобы уменьшить количество файлов в директории. Это значительно улучшит ситуацию.

EDIT2: Я бы также подумал об изменении с GetFiles("*.*") до GetFiles(). Поскольку вы просите все, нет смысла в том, чтобы он применял правила глобуса на каждом шагу.

Answer 4

Единственная часть, которую я думаю, что вы можете улучшить, это dirInfo.GetFiles("*.*"). В .NET 3.5 и ранее он возвращает массив со всеми именами файлов, что требует времени для создания и использования большого количества ОЗУ. В .NET 4.0 существует новый метод Directory.EnumerateFiles, который вместо этого возвращает IEnumerable<string> и извлекает результаты сразу же после их чтения с диска. Это может немного улучшить производительность, но не ожидайте чудес ...

Answer 5

Вам необходимо использовать стороннюю утилиту для выполнения копирования для вас. Что-то вроде robocopy может значительно ускорить вашу обработку. См. Также https://serverfault.com/questions/54881/quickest-way-of-moving-a-large-number-of-files

Answer 6

Прислушайтесь к этому Hanselminutes podcast. Скотт беседует с Аароном Боковером, автором медиа-плеера Банши, они столкнулись с этой точной проблемой и поговорили об этом в 8:20 в подкасте.

Если вы можете использовать .Net 4.0, используйте их Directory.EnumerateFiles, как упомянуто Thomas Levesque. Если нет, тогда вам может понадобиться написать свой собственный код хостинга, как в Mono.Posix, используя собственные API Win32.