Загрузить все изображения, как wget делает с Java на стороне клиента

Question

Это совершенно легко download all images from a website using wget.

Но мне нужна эта функция на стороне клиента, лучше всего на Java.

Я знаю, что источник wget доступен в Интернете, но я не знаю ни одного C, а источник довольно сложный. Конечно, у wget есть и другие функции, которые «взорвали источник» для меня.

Как у Java есть встроенный HttpClient, но я не знаю, насколько изощренным является wget на самом деле, не могли бы вы рассказать мне, сложно ли повторно реализовать функцию «загрузить все изображения рекурсивно» в Java?

Как это делается, точно? Получает ли wget исходный код HTML данного URL-адреса, извлекает все URL-адреса с указанными окончаниями файлов (.jpg, .png) из HTML и загружает их? Он также ищет изображения в таблицах стилей, которые связаны в этом документе HTML?

Как вы это сделаете? Будете ли вы использовать регулярные выражения для поиска (как относительных, так и абсолютных) URL-адресов изображений в документе HTML, и пусть HttpClient загрузит каждый из них? Или уже есть какая-то библиотека Java, которая делает что-то подобное?

Answer 1

В Java можно использовать Jsoup библиотеки для разбора любой веб-странице и извлечь все, что вы хотите

Answer 2

Найдено this program, который скачивает изображения. Это с открытым исходным кодом.

Вы можете получить изображения на веб-сайте, используя теги <IMG>. Посмотрите на следующий вопрос. Это может помочь вам. Get all Images from WebPage Program | Java

Answer 3

Для меня crawler4j была библиотека с открытым исходным кодом для рекурсивного обхода (и повторить) сайт, например как это (их QuickStart пример): (он также supports CSS URL crawling)

public class MyCrawler extends WebCrawler { 

    private final static Pattern FILTERS = Pattern.compile(".*(\\.(css|js|gif|jpg" 
                  + "|png|mp3|mp3|zip|gz))$"); 

    /** 
    * This method receives two parameters. The first parameter is the page 
    * in which we have discovered this new url and the second parameter is 
    * the new url. You should implement this function to specify whether 
    * the given url should be crawled or not (based on your crawling logic). 
    * In this example, we are instructing the crawler to ignore urls that 
    * have css, js, git, ... extensions and to only accept urls that start 
    * with "http://www.ics.uci.edu/". In this case, we didn't need the 
    * referringPage parameter to make the decision. 
    */ 
    @Override 
    public boolean shouldVisit(Page referringPage, WebURL url) { 
     String href = url.getURL().toLowerCase(); 
     return !FILTERS.matcher(href).matches() 
       && href.startsWith("http://www.ics.uci.edu/"); 
    } 

    /** 
     * This function is called when a page is fetched and ready 
     * to be processed by your program. 
     */ 
    @Override 
    public void visit(Page page) { 
     String url = page.getWebURL().getURL(); 
     System.out.println("URL: " + url); 

     if (page.getParseData() instanceof HtmlParseData) { 
      HtmlParseData htmlParseData = (HtmlParseData) page.getParseData(); 
      String text = htmlParseData.getText(); 
      String html = htmlParseData.getHtml(); 
      Set<WebURL> links = htmlParseData.getOutgoingUrls(); 

      System.out.println("Text length: " + text.length()); 
      System.out.println("Html length: " + html.length()); 
      System.out.println("Number of outgoing links: " + links.size()); 
     } 
    } 
} 

Более webcrawlers и HTML парсеры можно найти here.