Как очистить данные с веб-сайта ASP с помощью Java?

Question

У меня есть веб-сайт ASP, с которого я пытаюсь очистить данные. На веб-сайте есть страница поиска, которая возвращает результат после показа индикатора выполнения. Результат возвращается на той же странице. Я пишу скрипт на языке Java. Тем не менее, он продолжает показывать мне веб-страницу безрезультатно. Мне нужно содержимое результата, которое отображается на той же странице.

Я отправляю параметры в почтовом запросе, и я ожидаю, что страница результатов будет показана. Я попытался использовать HtmlUnit и базовый запрос-ответ Java, но он не работал. Пожалуйста, помогите мне с этим. Bellow - это мой фрагмент кода; на всякий случай.

 URL url = new URL(base_url); 
     HttpsURLConnection connection = (HttpsURLConnection) url.openConnection(); 
     connection.setDoOutput(true); 
     connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded"); 

     response = print_content(connection); 
     String viewstate = get_view_state(response); 
     connection.disconnect(); 

     url_params = "my-necessary-url-params"; 

     WebClient client = new WebClient(BrowserVersion.CHROME); 
     WebRequest request = new WebRequest(url, HttpMethod.POST); 
     request .setAdditionalHeader("Content-Type", "application/x-www-form-urlencoded; charset=UTF-8"); 
     request .setRequestBody(url_params); 

     try { 
      HtmlPage page = client.getPage(cswa_request); 
      client.waitForBackgroundJavaScriptStartingBefore(5000); 
      client.getOptions().setThrowExceptionOnFailingStatusCode(true); 
     } catch (Exception e) { 
      System.out.println(e.getMessage()); 
     } 

Любая помощь или точки зрения оцениваются. Благодарю.

Answer 1

selenium - отлично работает даже при создании динамического содержимого (AJAX и т.п.). Кучи учебников в сети.