Jsoup не загружает полную HTML-страницу, она загружается только частично

Question

Я пытаюсь изучить Jsoup с примером, я пытаюсь загрузить URL-адрес веб-сайта в Async Task. Но это загрузка только частичной, а не полной HTML-страницы. Я хочу удалить часть компонента, например, заголовок, нижний колонтитул и т. Д., И позволить ему отображать в WebView. Не уверен, что может отсутствовать:

Я попытался с несколькими вариантами:

Опции 1:

doc = Jsoup.connect("https://jsoup.org/discussion") 
        .header("Accept-Encoding", "gzip, deflate") 
        .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0") 
        .maxBodySize(0) 
        .get(); 

Варианты 2:

  doc = Jsoup.connect("https://jsoup.org/discussion").maxBodySize(0).timeout(50000).get(); 


class PageLoader extends AsyncTask<String, Void, Boolean> { 

    @Override 
    protected Boolean doInBackground(String... params) { 
     Document doc = null; 

     try { 
      doc = Jsoup.connect("https://jsoup.org/discussion").maxBodySize(0).timeout(50000).get(); 
      Logging.InfoLog(doc.toString()); 

     } catch (IOException e) { 
      e.printStackTrace(); 
     } 

     return null; 
    } 

    @Override 
    protected void onPreExecute() { 
     super.onPreExecute(); 
    } 

    @Override 
    protected void onPostExecute(Boolean aBoolean) { 
     super.onPostExecute(aBoolean); 
    } 
} 

Answer 1

Многие веб-страницы загрузки и рендеринга дополнительного контента через асинхронные вызовы JavaScript после страница загружается. JSoup возвращает только исходный HTML-код страницы.

Если вам нужно обрабатывать страницы, которые загружают и отображают контент динамически, вам нужен другой набор инструментов, например htmlunit, но htmlunit будет работать только в вашем бэкэнд-коде.