Я пытаюсь Jsoup для разбора HTML из URL http://www.threadflip.com/shop/search/john%20hardyJsoup не полный HTML
Jsoup смотрит только получить данные из линии
<![CDATA[ window.gon= ..............
Кто-нибудь знает, почему это будет?
Document doc = Jsoup.connect("http://www.threadflip.com/shop/search/john%20hardy").get();
Сайт, на котором вы пытаетесь выполнить синтаксический анализ, загружает большую часть своего содержимого async через вызовы AJAX. JSoup не интерпретирует Javascript и поэтому не действует как браузер. Кажется, что магазин заполняется путем вызова их апи:
http://www.threadflip.com/api/v3/items?attribution%5Bapp%5D=web&item_collection_id=&q=john+hardy&page=1&page_size=30
Так может быть, вы должны напрямую загрузить API Url, чтобы прочитать материал, который Вы хотите. Обратите внимание, что ответ JSON, а не HTML, поэтому парсер JSoup html здесь не очень помогает. Но есть большие библиотеки JSON. Я использую JSON-Simple.
В качестве альтернативы вы можете переключиться на Selenium webdriver, который фактически удаляет элементы управления реальным браузером. Это не должно беспокоить доступ ко всем элементам страницы.