Вычисление размеров каталога

Question

Я пытаюсь рассчитать размеры каталога таким образом, чтобы делить нагрузку, чтобы пользователь мог видеть прогресс подсчета. Я думал, что логичным способом сделать это было бы сначала создать дерево каталогов, а затем выполнить операцию, подсчитывая длину всех файлов.

Вещь, которая приходит ко мне как неожиданная, заключается в том, что основная часть времени (дисковый ввод-вывод) происходит от создания дерева каталогов, а затем переключение на FileInfo[] происходит почти мгновенно, практически без дискового ввода-вывода.

Я попытался с Directory.GetDirectories(), просто создав дерево строк имен каталогов и используя объект DirectoryInfo, и оба метода по-прежнему занимают основную часть времени ввода-вывода (считывая MFT, конечно) по сравнению перебирать все файлы FileInfo.Length для файлов в каждом каталоге.

Я думаю, что нет возможности уменьшить ввод-вывод, чтобы значительно увеличить дерево, я думаю, мне просто интересно, почему эта операция занимает значительно больше времени по сравнению с более многочисленными файлами?

Кроме того, если кто-то может рекомендовать нерекурсивный способ подсчета очков (так как мне кажется, что мне нужно просто разбить перечисление и сбалансировать его, чтобы сделать размер с учетом более отзывчивого). Создание потока для каждой поддиректории с базы и позволяя сбалансировать баланс планировщика, вероятно, будет не очень хорошим, не так ли?

EDIT: Repository for this code

Answer 1

Вы можете использовать Parallel.ForEach для выполнения расчета размера каталога в параллельно. Вы можете получить GetDirectories и запустить Parallel.ForEach на каждом узле. Вы можете использовать переменную, чтобы отслеживать размер и отображать ее для пользователя. Каждое параллельное вычисление будет увеличиваться на одну и ту же переменную. При необходимости используйте lock() для синхронизации между параллельными запусками.