Как я могу загружать статьи с сайтов?

Question

Я должен скачать (например, 1000) случайные статьи из Википедии, а затем с помощью Html Agility Pack, удалить из html-файлов/строк, удалить все теги html/scripts. Как я могу скачать его? Имеет ли эта библиотека какой-либо инструмент для загрузки статей с www? Спасибо за помощь

Answer 1

Использование может использовать WebClient. Например:

var site = new System.Net.WebClient().DownloadString("http://google.com"); 

Answer 2

Вы можете написать инструмент гусеничный захватить 1000 URLs в википедии и использовать этот HtmlWeb в HtmlAgilityPack:

string Url = "http://something"; 
HtmlWeb web = new HtmlWeb(); 
HtmlDocument doc = web.Load(Url);