Почему работает opendir, readdir, stat так медленно по сравнению с командой dir для Windows?

Question

У меня есть сценарий Perl, который использует opendir прочитать содержимое каталога:

opendir (DIR, $path) or next; 
    while (my $file = readdir DIR) { 

Тогда я делаю:

• -s $file, чтобы получить размер каждого файла
• (stat($file))[9] для получения измененного времени каждого файла

Я запускаю это с Windows-машины и доступ к Samba на Ubuntu 14.04.

Все это работает нормально, но процесс работает очень медленно по сравнению с тем, когда я запускаю список в той же папке.

Кто-нибудь знает, почему использование opendir занимает гораздо больше времени, чем список dir, и если есть какой-либо способ, я могу изменить свой сценарий, чтобы ускорить его?

Answer 1

По perlport:

На Win32 stat() необходимо открыть файл, чтобы определить количество ссылок и обновления атрибутов, которые могут быть изменены с помощью жестких ссылок. Установка ${^WIN32_SLOPPY_STAT} на истинное значение ускоряет работу stat(), не выполняя эту операцию.

Поскольку файлы, к которым вы обращаетесь, находятся на общей раздаче Samba, открытие их, вероятно, занимает довольно много времени.Кроме того, -s делает системный вызов за кулисами, поэтому звонок -s, за которым следует stat.

Следующие должны быть быстрее:

local ${^WIN32_SLOPPY_STAT} = 1; 

opendir my $dh, $path or die "Failed to opendir '$path': $!"; 

while (my $file = readdir $dh) { 
    my ($size, $mtime) = (stat $file)[7, 9]; 

    say join "\t", $file, $size, $mtime; 
} 

Answer 2

Dir будет намного быстрее, так как это двоичный код, который, как я подозреваю, очень оптимизирован, поэтому он может быстро получать и форматировать информацию.

В вашем скрипте кажется, что вы выполняете несколько вызовов, которые нужно интерпретировать, одно для времени и другое для размера. Даже если более низкие вызовы в Perl являются двоичным кодом, чтобы получить информацию, она, вероятно, должна пройти через несколько уровней. Вы можете уменьшить количество вызовов по предложению @mob, сохранив возвращаемые значения stat и получив доступ к необходимым вам частям. Например:

@items = stat($file); 
$size = $items[7]; 
$modified = $items[9]; 

, который сохранит один из вызовов и, возможно, ускорит выполнение сценария.

Если вам нужны все файлы, вы можете сделать системный вызов для выполнения команды каталога и перенаправить вывод в файл, после чего вы можете проанализировать файл, чтобы получить информацию о времени и размере. Это может быть немного быстрее в зависимости от количества файлов. (/ 4 будет 4 цифры года,/т: ж будет, когда она была последней записью/модифицированы и/с избавятся от запятых в размере)

system("dir /4 /t:w /-c $path > tempList.txt"); 

Затем откройте и разобрать перенаправлен файл информацию, которую вы желаете.

open my $in,"tempList.txt" die "Unable to open file tempList.txt"; 
my @lines = <$in>; 
close($in); 
chomp(@lines); 

foreach (@lines) 
{ 
    next if (! (m/^\d{4}\/\d{2}\/\d{2}\s+); # Not a line with a file 
    @parts = split('\s+'); 
    # Get the parts you need (time and size, where you may have to some other 
    # work to get it in the desired format 
    #..... 
} 

Возможно добавить регулярное выражение, чтобы сделать согласование и вытащить детали, как вам нужно их при тестировании, если вы хотите обработать строку. Это может сэкономить время и силы.