Как загрузить все файлы (но не HTML) с веб-сайта с помощью wget?

Question

Как использовать wget и получить все файлы с сайта?

мне нужны все файлы, за исключением веб-страницы файлов, таких как HTML, PHP, ASP и т.д.

Answer 1

Для фильтрации для конкретных расширений файлов:

wget -A pdf,jpg -m -p -E -k -K -np http://site/path/ 

Или, если вы предпочитаете длинные имена опций:

wget --accept pdf,jpg --mirror --page-requisites --adjust-extension --convert-links --backup-converted --no-parent http://site/path/ 

Это будет зеркалом сайта, но файлы без jpg или pdf расширения будут автоматически удаляется.

Answer 2

wget -m -p -E -k -K -np http://site/path/ 

человек страница расскажет вам, что делать эти варианты.

wget будет отслеживать только ссылки, если на странице индекса нет ссылки на файл, то wget не узнает о его существовании и, следовательно, не загрузит его. то есть. он помогает, если все файлы связаны с веб-страницами или индексами каталогов.

Answer 3

Этот загружал сайт весь для меня:

wget --no-clobber --convert-links --random-wait -r -p -E -e robots=off -U mozilla http://site/path/ 

Answer 4

Вы можете попробовать:

wget --user-agent=Mozilla --content-disposition --mirror --convert-links -E -K -p http://example.com/ 

Также вы можете добавить:

-A pdf,ps,djvu,tex,doc,docx,xls,xlsx,gz,ppt,mp4,avi,zip,rar 

принять конкретные расширения, или отклонять только определенные расширения:

-R html,htm,asp,php 

или исключить конкретные области:

-X "search*,forum*" 

Если файлы игнорируются для роботов (например, поисковые системы), вы, чтобы добавить также: -e robots=off

Answer 5

В системах Windows, для того, чтобы получить Wget вы можете

1. загрузить Cygwin
2. загрузить GnuWin32

Answer 6

Я пытался загрузить zip-файлы, связанные с Omeka's themes page - довольно схожая задача.Это работает для меня:

wget -A zip -r -l 1 -nd http://omeka.org/add-ons/themes/ 

• -A: принимать только файлы почтового индекса
• -r: рекурсию
• -l 1: один уровень (то есть, только файлы, непосредственно связанные с этой страницы)
• -nd: не создавайте структуру каталогов, просто загрузите все файлы в этот каталог.

Все ответы с -k, -K, -E и т.д. варианты, вероятно, не очень понял вопрос, как и те, как и для перезаписи HTML-страниц, чтобы сделать локальную структуру, переименовав .php файлы и так далее. Не имеет значения.

Чтобы получить буквально все файлы кроме.html и т.д.:

wget -R html,htm,php,asp,jsp,js,py,css -r -l 1 -nd http://yoursite.com 

Answer 7

Попробуйте это. Это всегда работает для меня

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL 

Answer 8

wget -m -A * -pk -e robots=off www.mysite.com/ 

это будет загружать все типы файлов локально и указывать на них из HTML файла и он будет игнорировать роботов файл