Извлечь содержимое (загруженное через вызов AJAX) веб-страницы

Question

Я начинаю сканировать. У меня есть требование для получения сообщений и комментариев по ссылке. Я хочу автоматизировать этот процесс. Я рассматривал использование webcrawler и jsoup для этого, но мне сказали, что веб-браузеры в основном используются для сайтов с большей глубиной.

Образец для страницы: Jive веб-сайт сообщества

На этой странице, когда я просмотреть исходный код страницы, я могу видеть только пост, а не комментарии. Подумайте об этом, потому что комментарии вызывают вызов AJAX на сервер.

Следовательно, когда я использую jsoup, он не получает комментарии.

Так как я могу автоматизировать процесс сбора сообщений и комментариев?

Answer 1

Jsoup является html парсер только. К сожалению, невозможно проанализировать содержимое javascript/ajax, поскольку jsoup не может их выполнить.

Решение: использование библиотеки, которая может обрабатывать скрипты.

Вот некоторые примеры я знаю:

• HtmlUnit
• Java Script Engine
• Apache Commons BSF
• Rhino

Если такая библиотека не поддерживает синтаксический или селекторы, вы можете по крайней мере, использовать их для вывода Html из сценариев (w который затем может быть проанализирован jsoup).

Answer 2

Jsoup не обрабатывает Javascript и Ajax, поэтому вам нужно использовать Htmlunit или селен. После загрузки страницы с помощью Htmlunit или любого из них вы можете использовать jsoup для остальной задачи.