Ускоренный метод перемещения файлов, отличный от File.Move

Question

У меня есть консольное приложение, которое займет около 625 дней. Если есть способ сделать это быстрее.

Прежде всего, я работаю в каталоге, в котором есть около 4 000 000 файлов, если не больше. Я работаю в базе данных, которая содержит строку для каждого файла, а затем некоторую.

Теперь работа с SQL относительно быстро, узкое место, когда я использую File.Move(), каждый ход занимает 18 секунд.

Есть ли более быстрый способ, чем File.Move()?

Это узкое место:

File.Move(Path.Combine(location, fileName), Path.Combine(rootDir, fileYear, fileMonth, fileName)); 

Все другой код работает довольно быстро. Все, что мне нужно сделать, это переместить один файл в новое место и затем обновить поле местоположения базы данных.

Я могу показать другой код, если это необходимо, но на самом деле вышесказанное является единственным текущим узким местом.

Answer 1

Оказывается, переход от File.Move к настройке FileInfo и использованию .MoveTo значительно увеличивает скорость.

Он будет работать примерно через 35 дней, а не 625 дней.

FileInfo fileinfo = new FileInfo(Path.Combine(location, fileName)); 
fileinfo.MoveTo(Path.Combine(rootDir, fileYear, fileMonth, fileName)); 

Answer 2

18 секунд на самом деле необычно. NTFS не работает хорошо, когда у вас много файлов в одном каталоге. Когда вы запрашиваете файл, он должен выполнить линейный поиск своей структуры данных каталога. С 1000 файлов это не займет слишком много времени. С 10 000 файлов вы замечаете это. С 4 миллионами файлов. , , да, это требует времени.

Возможно, вы можете сделать это еще быстрее, если предварительно загрузите все записи каталога в память. Затем вместо вызова конструктора FileInfo для каждого файла вы просто просматриваете его в своем словаре.

Что-то вроде:

var dirInfo = new DirectoryInfo(path); 
// get list of all files 
var files = dirInfo.GetFileSystemInfos(); 
var cache = new Dictionary<string, FileSystemInfo>(); 
foreach (var f in files) 
{ 
    cache.Add(f.FullName, f); 
} 

Теперь, когда вы получаете имя из базы данных, вы можете просто посмотреть его в словаре. Это может быть намного быстрее, чем пытаться получить его с диска каждый раз.

Answer 3

Вы можете перемещать файлы параллельно, а также с помощью Directory.EnumerateFiles дает ленивым загруженный список файлов (из-я, конечно, не проверял его с 4000000 файлов):

var numberOfConcurrentMoves = 2; 
var moves = new List<Task>(); 
var sourceDirectory = "source-directory"; 
var destinationDirectory = "destination-directory"; 

foreach (var filePath in Directory.EnumerateFiles(sourceDirectory)) 
{ 
    var move = new Task(() => 
    { 
     File.Move(filePath, Path.Combine(destinationDirectory, Path.GetFileName(filePath))); 

     //UPDATE DB 
    }, TaskCreationOptions.PreferFairness); 
    move.Start(); 

    moves.Add(move); 

    if (moves.Count >= numberOfConcurrentMoves) 
    { 
     Task.WaitAll(moves.ToArray()); 
     moves.Clear(); 
    } 
} 

Task.WaitAll(moves.ToArray());