Bash скрипт для сравнения файлов

Question

У меня есть папка с тонны старых фотографий со многими дубликатами. Сортировка его вручную потребовала бы времени, поэтому я хотел использовать возможность использовать bash.

Сейчас у меня есть код:

#!/bin/bash 

directory="~/Desktop/Test/*" 
for file in ${directory}; 
do 
    for filex in ${directory}: 
    do 
     if [ $(diff {$file} {$filex}) == 0 ] 
     then 
      mv ${filex} ~/Desktop 
      break 
     fi 
    done 
done 

и получить код выхода:

diff: {~/Desktop/Test/*}: No such file or directory 
diff: {~/Desktop/Test/*:}: No such file or directory 
File_compare: line 8: [: ==: unary operator expected 

Я попытался модифицировать рабочий код, я нашел в Интернете, но всегда кажется, плевать внесите некоторую ошибку, как это. Я предполагаю, что это проблема с вложенным циклом?

Кроме того, почему кажется, что существуют разные способы вызова переменных? Я видел примеры, которые используют ${file}, "$file", and "${file}".

Answer 1

Вы имеете {} в неправильных местах:

if [ $(diff {$file} {$filex}) == 0 ] 

Они должны быть на:

if [ $(diff ${file} ${filex}) == 0 ] 

(хотя брекеты в настоящее время не являются обязательными), но вы должны позволить пробелов в именах файлов:

if [ $(diff "${file}" "${filex}") == 0 ] 

Теперь он просто не работает должным образом, потому что, когда diff не обнаруживает различий, он не генерирует выход (и вы получаете ошибки, потому что оператор == ничего не ожидает от его левой стороны). Можно вроде это исправить, дважды указав значение из $(…) (if [ "$(diff …)" == "" ]), но вы должны просто и непосредственно проверить статус выхода diff:

if diff "${file}" "${filex}" 
then : no difference 
else : there is a difference 
fi 

и, возможно, для сравнения изображения, которые вы должны использовать cmp (в бесшумный режим), а не diff:

if cmp -s "$file" "$filex" 
then : no difference 
else : there is a difference 
fi 

Answer 2

Вы можете использовать diff "$file" "$filex" &>/dev/null и получить последний результат команды с $?:

#!/bin/bash 

SEARCH_DIR="." 
DEST_DIR="./result" 

mkdir -p "$DEST_DIR" 

directory="." 

ls $directory | while read file; 
do 
    ls $directory | while read filex; 
    do 
     if [ ! -d "$filex" ] && [ ! -d "$file" ] && [ "$filex" != "$file" ]; 
     then 

      diff "$file" "$filex" &>/dev/null 

      if [ "$?" == 0 ]; 
      then 
       echo "$filex is a duplicate. Copying to $DEST_DIR" 
       mv "$filex" "$DEST_DIR" 
      fi 
     fi 
    done 
done 

Обратите внимание, что вы можете также использовать fslint или fdupes утилиты для поиска дубликатов

Answer 3

Если вы просто интересно знать, если два файла различаются, cmp является лучшим вариантом.Его преимущество:

1. Она работает для текста, а также бинарных файлов, в отличие от diff, который только текстовых файлов

2. Он останавливается после обнаружения первой разности, и, следовательно, она является очень эффективной

Таким образом, ваш код может быть записан в виде:

if ! cmp -s "$file" "$filex"; then 
    # files differ... 
    mv "$filex" ~/Desktop 

    # any other logic here 
fi 

Надеюсь, это поможет. Я не понимал, что вы пытаетесь сделать со своими циклами, и, следовательно, не написал полный код.

Answer 4

В дополнение к проблемам Джонатан Леффлера отметил:

directory="~/Desktop/Test/*" 
for file in ${directory}; 

~ и * не будут расширены в двойные кавычки; * будет расширяться, когда вы используете переменную без кавычек, но так как ~ не будет, она ищет файлы под каталогом, фактически названной «~» (не вашего домашнего каталога), он не найдет совпадений. Кроме того, как указал Джонатан, использование переменных (например, ${directory}) без двойных кавычек приведет к проблемам с именами файлов, которые содержат пробелы или некоторые другие метасимволы. Лучший способ сделать это, чтобы не поставить подстановочные в переменной, используйте его, когда вы ссылаетесь на переменную, с переменной в двойных кавычках и * за их пределами:

directory=~/"Desktop/Test" 
for file in "${directory}"/*; 

О, и другое примечание: при использовании mv в скрипте рекомендуется использовать mv -i, чтобы избежать случайного перезаписи другого файла с тем же именем.

И: используйте shellcheck.net, чтобы проверить работоспособность вашего кода и указать общие ошибки.