Получить вывод веб-страницы в C#

Question

Я пытаюсь получить итоговое содержимое веб-страницы, чтобы извлечь текст. Я попытался использовать код ниже, но он получает мне исходный html, а не полученный html.

string urlPath = "http://www.cbsnews.com/news/jamar-clark-protests-follow-decision-not-to-file-charges-in-minneapolis-police-shooting/"; 
WebClient client = new WebClient(); 
string str = client.DownloadString(urlPath); 

Сравните текст в переменной ул с HTML в Инструменты разработчика в браузере Chrome, и вы получите разные результаты.

Любые рекомендации будут оценены.

Answer 1

Я предполагаю, что вы имеете в виду, что хотите текст статьи. Если это так, вам нужно будет следовать другому курсу действий. На странице, на которую вы ссылаетесь, загружается клиентский скрипт, который вводит множество содержимого в базовый HTML-документ. Это делается путем выполнения клиентского сценария. Вам нужно будет проанализировать DOM после того, как скрипт будет выполнен, чтобы получить интересующий вас контент.

Answer 2

Как указывали другие, фактический веб-браузер будет анализировать загруженный HTML и выполнять javascript против него, потенциально изменяя его содержание. Хотя вы можете попытаться сделать это самостоятельно, самый простой путь - попросить реального веб-браузера сделать это для вас, а затем захватить результаты.

Простым решением в C# было бы использование WebBrowser Control из Windows Forms, которое по существу предоставляет IE вашей программе, позволяя вам управлять им. Используйте метод Navigate для загрузки соответствующего URL-адреса, а затем используйте свойство Document для перемещения по DOM. Вы можете в этот момент получить outerHTML, чтобы получить окончательный контент DOM как HTML.

Если вы не пишете программу для Windows и не заинтересованы в работе без головок, посмотрите на PhantomJS. Это безгласный браузер Webkit, доступный для сценариев из javascript, и даст вам аналогичную возможность, хотя и не на C#.