Jsoup parsing after Authentication

Question

Я пытаюсь разобрать веб-страницу с помощью Jsoup, но проблема в том, что страница нуждается в аутентификации.

Подход, который я хочу использовать, - это использовать Selenium WebDriver для аутентификации, а затем проанализировать данные на странице с помощью Jsoup. Но я не слишком уверен, как это реализовать, потому что мне могут понадобиться файлы cookie или некоторые заголовки для запроса на аутентифицированную страницу.

Любые мысли о том, как реализовать это? Я знаю, что это очень абстрактно, но я все еще пытаюсь понять, как это сделать.

Редактировать: Я только начинаю использовать jsoup, поэтому я не знаю, возможна ли такая аутентификация, используя только jsoup без использования Selenium Webdriver или нет.

Answer 1

Вы можете использовать HTTPClient или HttpUrlConnection, чтобы отправлять свои данные напрямую, а затем страница будет выполнять аутентификацию, после чего вы получите следующую страницу в качестве ответа. Отдайте ответ Jsoup, проанализируйте его и получите доступ к своим данным. Проверьте эту ссылку: http://www.mkyong.com/java/how-to-send-http-request-getpost-in-java/