wget: удалить неполные файлы

Question

В настоящее время я использую скрипт bash для загрузки нескольких изображений с помощью wget.

К сожалению, сервер, который я загружаю, менее надежный, поэтому иногда, когда я загружаю файл, сервер отключается, и скрипт переходит к следующему файлу, оставляя предыдущий неполным.

Для того чтобы исправить это я пытался добавить вторую линию после того, как сценарий извлекает все незавершенные файлы с помощью:

wget -c myurl.com/image{1..3}.png 

Это похоже на работу, как Wget восходит и завершает загрузку файлов, но проблема возникает из-за этого: ImageMagick, который я использую для создания изображений в pdf, заявляет, что есть ошибки с заголовками изображений.

Моя мысль о том, что при удалении неполных файлов является:

wget myurl.com/image{1..3}.png 
wget -rmincompletefiles 
wget -N myurl.com/image{1..3}.png 
convert *.png mypdf.pdf 

Так что вопрос в том, что я могу использовать вместо -rmincompletefiles, что на самом деле существует, или есть лучше, я должен быть приближения к этому вопрос?

Answer 1

Я сделал удивительное открытие при попытке реализовать tvm's suggestion.

Получается, и это что-то я не понял, что при запуске wget -N wget фактически проверяет размеры файлов и проверяет, что они одинаковые. Если это не так, файлы удаляются, а затем снова загружаются.

Столь крутой отзыв, если у вас такая же проблема!

Answer 2

Ну, я бы постарался загрузить файлы с wget (вы можете указать дополнительные параметры, такие как больше --timeout, чтобы дать серверу дополнительное время). wget предполагает определенные вещи о частичной загрузке и даже при правильном возобновлении, иногда они могут оказаться искалеченными (если вы не проверите их, например, суммы MD5 другими способами).

Поскольку вы используете convert и bash, скорее всего, еще один инструмент, доступный из пакета Imagemagick, а именно identify.

Хотя некоторые функции, безусловно, плохо документированы, у него есть одна удивительная функциональность - он может идентифицировать сломанные (или частично загруженные изображения).

➜ ~ identify b.jpg; echo $? 
identify.im6: Invalid JPEG file structure: ... 
1 

Он будет возвращать статус выхода 1, если вы вызываете его на несогласованном изображении. Вы можете удалить эти несогласованные изображения с помощью простого цикла, такие как:

for i in *.png; 
    do identify "$i" || rm -f "$i"; 
done 

Тогда я хотел бы попытаться загрузить еще раз файлы, которые разрываются.