Невозможно найти точное имя класса для поиска Комментарии URL-адреса с помощью jsoup

Question

Я работаю в Android и с использованием Jsoup для того, чтобы выучить некоторые данные из Интернета. Я не могу найти точное имя class, где комментарий лежит в нижеприведенном коде. Я пробовал с disqus_thread, dsq-content, ul-dsq-comments и dsq-comment-body, перейдя на исходную страницу URL-адреса, но никто не вернул комментарии.

public static void main(String[] args) { 
      Document d; 
      Elements lin = null; 
      String url = "http://blogs.tribune.com.pk/story/39090/i-hate-materialistic-people-beta-but-i-love-my-designer-clothes/"; 
      try { 
       d = Jsoup.connect(url).timeout(20*1000).userAgent("Chrome").get(); 
       lin = d.getElementsByClass("dsq-comment-body"); 
       System.out.println(lin); 
      } catch (IOException e) { 
        e.printStackTrace(); 
       } 
      int i=0; 
      for(Element l :lin){ 
       System.out.println(""+i+ " : " +l.text()); 
       i++; 
      } 
} 

Answer 1

Это потому, что HTML, который составляет комментарии, генерируется динамически после загрузки страницы с использованием Javascript. Когда страница загружена, комментарий HTML не существует, поэтому Jsoup не может его получить.

Чтобы разжиться замечания у вас есть 3 варианта:

1) Использование веб-искатель, который может выполнить JavaScript. Здесь популярны Selenium Webdriver (http://www.seleniumhq.org/projects/webdriver/) и PhantomJS (http://phantomjs.org/). Первая работает, подключаясь к реализации браузера (например, Mozilla Firefox) и открывая браузер программно. Последний не открывает браузер и выполняет javascript, используя Webkit.

2) Перехватите сетевой трафик при открытии сайта (здесь вы, вероятно, можете использовать вкладку встроенной сети вашего браузера) и найдите запрос, который извлекает комментарии. Сделайте этот запрос самостоятельно и извлеките соответствующие данные в свое приложение. Имейте в виду, что это не сработает, если сервер, обслуживающий комментарии, требует какой-либо проверки подлинности.

3) Если комментарии обслуживаются специализированным провайдером с открытым доступом API, то может быть возможно извлечь их через этот API. Сайт, с которым вы связались, использует Disqus для обработки раздела комментариев, чтобы можно было подключиться к их API и получить их таким образом.