Как получить полностью загруженный код HTML-страницы

Я хочу программно проанализировать страницы сайта и, очевидно, мне нужен полный HTML-код. Однако сайт может загружать только некоторую главную страницу через прямой URL-адрес, а после загрузки главной страницы он получает свой контент через AJAX.Как получить полностью загруженный код HTML-страницы

Как загрузить страницу «как в браузере», чтобы она полностью загрузилась со всеми ее скриптами, выполняющими свою работу?

Например, если я использую класс WebBrowser, чтобы действительно открыть страницу «как в браузере», ее свойство DocumentText (которое должно представлять содержимое DOM) возвращает только исходную страницу без фактического содержимого, загружаемого через AJAX или подобное (проверено на google.com). Это происходит и в браузерах, и для просмотра фактического HTML мне нужно использовать инструменты разработчика.

ОБНОВЛЕНО: ответ оказывается здесь, благодаря Владимир Шмидт how to dynamically generate HTML code using .NET's WebBrowser or mshtml.HTMLDocument?

DocumentText не обновляет его содержимое после «корня» DOM был загружен, но свойство документа делает.

источник

2014-09-18 yaapelsinko

Ты слышал о http://webkitdotnet.sourceforge.net/? Кроме того .net имеет компонент WebBrowser, который может использоваться для

источник

2014-09-18 17:21:56

Да, это, я обновил свой вопрос только после того, как Ваш комментарий, пожалуйста, посмотрите на него. – yaapelsinko

whould DocumentCompleted (WebBrowserDocumentCompletedEventHandler) событие в WebBrowser будет достаточно для точки, когда ВСЕ сайт загружается даже через ajax? –

Hummm, я пойду посмотрю ... – yaapelsinko

Как я могу загрузить страницу «как в браузере» ...?

Единственный верный способ сделать это на самом деле загрузки страницы в браузере. Это можно автоматизировать с помощью инструмента Selenium/WebDriver.

источник

2014-09-18 17:22:03 StriplingWarrior

Ну, есть класс WebBrowser, чтобы открыть его в браузере, я обновил свой вопрос об этом. Все еще не вижу «элегантного» решения ... – yaapelsinko

Из названия кажется, что вы хотите, чтобы завершенный HTML на вашей странице после того, как AJAX и javascript получили или сгенерировали контент. Если это так, то отладчик браузеров (F12) будет иметь это. В Chrome просмотрите вкладку «Элементы».

источник

2014-09-18 17:26:04

Да точно, но мне нужно, чтобы это было загружено программным способом для его анализа. Любая возможность получить завершенный код из экземпляра WebBrowser? – yaapelsinko

Есть несколько решений.

Главная логика:

Запрос Page
Wait сезам документ полностью загружен (ReadyState = Завершена)
Получить содержание документа

Я предполагаю, что один простые из них является используйте WebControl, где вы переходите к своему URL-адресу и дождитесь готовности или полного состояния элементов управления. После этого вы можете начать синтаксический анализ.

Здесь на SO решение: htmlagilitypack and dynamic content issue

источник

2014-09-18 17:42:10 Calvijn

Как получить полностью загруженный код HTML-страницы

ответ

Смежные вопросы