HTTPBuilder Получить после выполненного Javascript

Question

Я использовал HTTPBuilder как способ получения содержимого HTML сайта. В качестве примера, это, как я использовал его:

def http = new HTTPBuilder(url) 

def root = http.get([:]) 

// Really just the standard approach. 

Теперь это работало очень хорошо для статических HTML-сайтов, однако я теперь пытаюсь взять данные с сайтов, где Javascript выполняются на нагрузке, которая заполняет страницу. Например, this page.

Мой вопрос в том, имеет ли Grails/Groovy собственный способ ожидания, пока все Javascript не выполнит, прежде чем возвращать содержимое HTML. Если не родной, то третьей стороной?

Research Я уже пытался

• Я имел взгляд на библиотеки, которые пытаются издеваться браузер. Я подумал, что если бы я мог получить библиотеку для выполнения Javascript и только вернуть результат, я мог бы имитировать поведение, которое я хотел. Мои исследования в этом были несколько ограничены, так как библиотеки, которые я нашел, дают вам контроль над такими вещами, как ваш User-Agent.

Answer 1

Метод, который вы используете, получает только исходный HTML-контент с сервера. Так что ничего не загружать и не выполнять какой-либо код. Селен может работать (или Geb, Groovy обертка вокруг него), но getPageSource method говорит, что получение HTML-содержимого после JavaScript зависит от драйвера. Вы можете найти один из драйверов (хром, firefox и т. Д.), Чтобы вернуть результаты после JavaScript. Если это не сработает, попробуйте использовать PhantomJS (blog post on what you want).