Как извлечь динамический контент ajax с веб-страницы

Question

Мое требование - извлечь требуемый контент с веб-страницы. На странице есть раздел, который заполняется с помощью ajax. Когда я просматриваю в источнике страницы, он не показывает содержимое, загруженное с помощью ajax. Содержимое раздела будет изменяться в зависимости от выбранного флажка. Если мы выберем флажок «Индия», тогда в разделе будут представлены все детали Индии. В источнике страницы будет отображаться только контент по умолчанию, а не контент, отображаемый с помощью ajax. Я проверил источник страницы после выбора флажка, но он показывает только значение по умолчанию. Как получить содержимое этого раздела,

Answer 1

Используйте Firebug под Firefox. На вкладке NET вы увидите загруженный дополнительный контент.

Answer 2

В C# вы можете использовать HTMLAgilityPack для поиска данных, но если вы используете webBrowser.DocumentText, вы не можете загрузить содержимое ajax с веб-страницы, чтобы получить xpath. Поэтому после того, как webBrowser полностью загрузил веб-страницу. В методе Document_Complete вы добавляете несколько кодов ниже:

HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument(); 
this.webBrowser1.Document; 
IHTMLDocument2 currentDoc =(IHTMLDocument2)this.webBrowser1.Document.DomDocument; 

doc.LoadHtml(currentDoc.activeElement.innerHTML);