Самый быстрый способ подсчета количества файлов в каталоге, содержащем сотни тысяч файлов

Question

В системе Solaris, которая обрабатывает большое количество файлов и хранит их информацию в базе данных (да, я знаю, что использование базы данных - это самый быстрый способ получите информацию о количестве файлов, которые у нас есть). Мне нужен быстрый способ отслеживать файлы по мере их прохождения через систему по пути их хранения в базе данных.

В настоящее время я использую Perl-скрипт, который читает в каталоге массив, а затем захватывает размер массива и отправляет его в сценарий мониторинга. К сожалению, по мере роста нашей системы этот монитор становится все медленнее.

Я ищу способ, который будет работать намного быстрее, вместо того, чтобы приостанавливать и обновлять каждые 15-20 секунд после выполнения операции подсчета во всех связанных каталогах.

Я относительно уверен, что мое узкое место является считывающим каталогом в операции с массивом.

Мне не нужна какая-либо информация о файлах, мне не нужны размеры или имена файлов, просто количество файлов в каталоге.

В моем коде я не считаю скрытые файлы или текстовые файлы, которые я использую для хранения информации о конфигурации. Было бы здорово, если бы эта функциональность была сохранена, но, безусловно, не является обязательной.

Я нашел несколько ссылок на подсчет inodes с кодом C или что-то в этом роде, но я не очень опытен в этой области.

Я хотел бы сделать этот монитор как можно скорее.

код Perl я использую выглядит следующим образом:

opendir (DIR, $currentDir) or die "Cannot open directory: $!"; 
@files = grep ! m/^\./ && ! /config_file/, readdir DIR; # skip hidden files and config files 
closedir(DIR); 
$count = @files; 

Answer 1

То, что вы делаете прямо сейчас читает весь каталог (более или менее) в память только отказаться от этого контента для его подсчета. Избегайте, что в потоковом каталог вместо:

my $count; 
opendir(my $dh, $curDir) or die "opendir($curdir): $!"; 
while (my $de = readdir($dh)) { 
    next if $de =~ /^\./ or $de =~ /config_file/; 
    $count++; 
} 
closedir($dh); 

Важно отметить, что не используют glob() в любой из его форм. glob() will expensively stat() every entry, который не накладные расходы вы хотите.

Теперь у вас могут быть гораздо более сложные и более легкие способы сделать это в зависимости от возможностей ОС или возможностей файловой системы (Linux, в качестве сравнения, предлагает inotify), но потоковая передача каталога, как указано выше, примерно так же хороша, как и вы «Допустим.

Answer 2

Сохраните это.

@files = readdir(DIR) - 2; 

The -2 is because readdir counts "." and ".." as directory entries. 

print @files . " files found\n"; 
exit; 

1 найденные файлы