Загрузить все pdf-файлы с помощью wget

Question

У меня есть следующий сайт http://www.asd.com.tr. Я хочу загрузить все файлы PDF в один каталог. Я пробовал пару команд, но мне не очень повезло.

$ wget --random-wait -r -l inf -nd -A pdf http://www.asd.com.tr/ 

С помощью этого кода было загружено только четыре файла PDF. Проверить эту ссылку, Есть более нескольких тысяч файлов PDF доступны:

• http://www.asd.com.tr/Default.aspx

Например, сотни файлов в следующей папке:

• http://www.asd.com.tr/Folders/asd/ ...

Но я не могу понять, как правильно их получить, чтобы увидеть и загрузить все, есть некоторые папки в этом подкаталоге, http://www.asd.com.tr/Folders/ и тысячи PDF-файлов в этих папках.

Я попытался зеркально отобразить сайт, используя команду -m, но он тоже не удался.

Другие предложения?

Answer 1

Во-первых, убедитесь, что TOS веб-сайта разрешает его обходить. Тогда одно решение:

mech-dump --links 'http://domain.com' | 
    grep pdf$ | 
    sed 's/\s+/%20/g' | 
    xargs -I% wget http://domain.com/% 

Команда mech-dump поставляется с модулем Perl, WWW::Mechanize (libwww-mechanize-perl пакет на Debian & Debian любит дистрибутивы)