Невозможно разобрать полную html-страницу в документе

Question

Здесь, в этом коде, я хотел разобрать весь html-файл (локальный) в переменной документа, но я заметил, что он обрабатывает только 10% содержимого. Пожалуйста помоги!!

Document doc=null; 
HashSet<String>urlSet=null; 
try { 
    doc = Jsoup.parse(file,null); 
} catch (IOException e) { 
    e.printStackTrace(); 
    return urlSet; 
} 

urlSet=getLinks(doc); 
if(urlSet!=null) 
    urlSet=refineURLs(urlSet); 
return urlSet; 

Answer 1

Я думаю, что это связано с относительными ссылками в html. Используйте это вместо:

String html = readFile(file.getAbsolutePath(), Charset.defaultCharset()); 
doc = Jsoup.parse(html, "https://en.wikipedia.org/wiki/Developmental_biology"); 

private static String readFile(String path, Charset encoding) throws IOException { 
    byte[] encoded = Files.readAllBytes(Paths.get(path)); 
    return new String(encoded, encoding); 
}