Bash: распараллеливание md5sum контрольной суммы многих файлов

Question

позволяет сказать, у меня есть 64-ядерный сервер, и мне нужно вычислить md5sum все файлы в /mnt/data и сохранить результаты в текстовом файле:

find /mnt/data -type f -exec md5sum {} \; > md5.txt 

Проблема с приведенной выше командой заключается в том, что в любой момент времени выполняется только один процесс. Я хотел бы использовать всю мощь своих 64-ядер. В идеале я хотел бы убедиться, что в любой момент времени выполняется 64 параллельных процесса md5 (но не более 64).

Также. Мне понадобится вывод из всех процессов, которые нужно сохранить в один файл.

ПРИМЕЧАНИЕ: Я не ищу способ вычисления md5sum одного файла параллельно. Я ищу способ вычислить 64 md5sums из 64 различных файлов параллельно, если есть файлы, поступающие от find.

Answer 1

Использование GNU parallel. И вы можете найти еще несколько примеров того, как его реализовать. here.

find /mnt/data -type f | parallel -j 64 md5sum > md5.txt 

Answer 2

ОБНОВЛЕНО

Если Вы не хотите использовать дополнительные пакеты можно попробовать SG, как это:

#!/usr/bin/bash 

max=5; 
cpid=() 

# Enable job control to receive SIGCHLD 
set -m 
remove() { 
    for i in ${!cpid[*]}; do 
    [ ! -d /proc/$i ] && echo UNSET $i && unset cpid[$i] && break 
    done 
} 
trap remove SIGCHLD 

for x in $(find ./ -type f -name '*.sh'); do 
    some_long_process $x& 
    cpid[$!]="$x"; 
    while [ ${#cpid[*]} -ge $max ]; do 
    echo DO SOMETHING && sleep 1; 
    done 
done 
wait 

Это первый позволяет получить SIGCHLD, если Подпроцесса выходов. Если SIGCHLD находит первый несуществующий процесс и удаляет из массива cpid.

В течение цикла он начинается max Число some_long_process обрабатывается асинхронно. Это max достигло опросов всех добавленных к cpid массивов. Он ждет, пока длина cpid будет меньше max и начнет несколько процессов асинхронно.

Если список окончен, он ждет завершения всех детей.

ДОБАВЛЕНО

Наконец я нашел правильное решение makehere.

Answer 3

Если вы хотите экспериментировать, попробуйте установить md5deep. (http://md5deep.sourceforge.net)

Here is the manual, где вы можете прочитать:

-jnn Controls многопоточность. По умолчанию программа создаст один поток производителей для сканирования файловой системы и одного потока хеширования на процессор ядра . Многопоточность приводит к тому, что имена выходных файлов должны быть в недетерминированным порядком, поскольку файлы, которые занимают больше времени для хэша, будут задерживаться, пока они хэшируются. Если требуется детерминированный порядок, указать -j0 отключить многопоточность

Если это не помогает, то есть узкие места ввода/вывода.

Answer 4

Вы также можете использовать xargs, он может быть более доступным, чем параллели на некоторых дистрибутивах.

-P контролирует количество процессов, порожденных.

find /mnt/data -type f | xargs -L1 -P24 md5sum > /tmp/result.txt